AI応答のキャッシュでコストと速度を改善チェックリスト

入れる前の見極め

• ログで「同じ入力の割合」を数えたか
• 答えが少し古くても許される用途か
• 利用者をまたいで共有していい問い合わせか、分ける必要があるかを整理したか
• 答えが揺れないほうが嬉しい用途か（毎回違う案が欲しい用途ではないか）

鍵（キャッシュキー）の設計

• 入力の本文を正規化しているか（意味を変える加工をしていないか）
• モデル名・バージョンを含めているか
• プロンプトの版を含めているか
• 答えが変わるパラメータを含めているか
• 権限の範囲（利用者・テナント・参照できる資料）を含めているか

しまい方・捨て方

• 期限（TTL）を決めたか（迷ったら短めにできているか）
• 元データが更新されたときに捨てられるか
• 手で全部捨てる手順・ボタンを用意したか
• エラー・空の応答・形式が壊れた出力をしまわない分岐があるか

測る

• ヒット率をログに出しているか
• 減った呼び出し回数とコストを見られるか
• 当たったとき・外れたときの応答時間を分けて見られるか

広げるとき

• 長い前置きがあるなら、変わらない部分を前に寄せたか（プロンプトキャッシュ）
• 利用中サービスの料金・保持時間の条件を公式ドキュメントで確認したか
• 意味の近さで当てる場合、閾値を実データで決め、範囲を絞ったか
• 誤配に気づいたとき、利用者が聞き直せる出口があるか