① お手本をそろえる
- 代表的な入力を20〜30件、本番のログから集めたか
- 過去に失敗した入力を、その中に5件ほど混ぜたか
- 極端に長い／短い／想定外の入力も少し入れたか
- 氏名・連絡先・取引先名などを伏せたか
- 1件ごとに「合格の観点」を、見れば白黒つく形で3つまで書いたか
- 今日の時点の出力を保存したか（これが比較の土台）
② くらべる
- 決まった時刻に、同じ入力・同じ設定で流す仕組みにしたか
- 第1層（形が壊れていない・必須項目がある・禁止語がない）を先に固めたか
- 出力そのものを、日付つきで保存しているか
- 応答時間とトークン数も、あわせて記録しているか
- AIに採点させるなら、基準を固定し、理由も保存しているか
- 採点の答え合わせを、人が月に一度する段取りになっているか
③ 知らせる・見る
- 結果が、誰かの目に触れる場所に出ているか
- 知らせる条件を決めたか（鳴りすぎたら緩める前提で）
- 日付・合格率・気づいたことを、1行の履歴で残しているか
- 週に一度、実物を5〜10件、人が読む時間を確保したか
- プロンプト・モデル・参照資料を変える前に、お手本を1回通す決まりにしたか
- フォールバックが発動した回数を、別に数えているか
この内容は記事「AI機能の応答品質を継続監視する｜劣化に気づく評価の仕組み」のチェックリストです。印刷してそのままお使いいただけます。 ／ 無料ツール一覧へ