用語集約4分

トークンとは？AIが文章を扱う最小単位をやさしく解説

「思ったより料金が高い」「途中で切れる」とき

AIをサービスに組み込んでみたら、想定より料金がかさんだ。長い文章を渡したら、途中で内容が切れたような答えが返ってきた。 そんなときに関わってくるのがトークンです。料金や上限を理解するうえで、避けて通れない単位です。

トークンとは？ひとことで言うと

トークンは、AIが文章を扱うときの最小単位です。ざっくり言うと、文章を細かく区切った「かたまり」のことで、AIは文章をそのまま読むのではなく、このトークンに分けて処理します。 日本語だと、おおよそ1文字〜数文字で1トークンくらいが目安です（言語やモデルによって変わります）。長い文章ほどトークン数が多くなる、と考えてください。

AIが文章をそのまま読まず細かいかたまりに区切って処理するトークンを、分量メーターや料金の基準として表したイラスト
トークンは「文章を区切ったかたまり」。料金と入力上限の基準になり、長い文章ほど数が増える

開発現場ではどこで使う？

「AIで何とかしろ」を実際の予算や仕様に落とすとき、必ずこの単位が出てきます。

なぜ大事なのか

AIの料金の多くは、やり取りしたトークンの量で決まります。渡す文章と返ってくる文章、その両方が料金に効いてきます。 また、一度に渡せる量にも上限があります。トークンを意識していないと、見積もりが甘くなったり、長い入力が途中で扱われずに精度が落ちたりします。逆に押さえておけば、コストと品質のバランスを取りやすくなります。

具体例で見る

たとえば長いマニュアル全文を毎回AIに渡して質問させると、その都度たくさんのトークンを使い、件数が増えると料金もふくらみます。 ここで「質問に関係する部分だけ渡す」ようにすれば、トークン数が減り、料金も上限の心配も軽くなります。何を渡すかを絞る判断が、そのままコスト管理につながります。なお、一度に渡せるトークンの上限はコンテキストウィンドウと呼ばれ、長い資料を扱うときはこの枠に収まるかを意識します。マニュアルのような同じ前置きを毎回使い回す場合は、プロンプトキャッシュ（同じ前置きを再利用して費用と速度を改善する仕組み）が効くこともあります。

つまり現場では？

トークンを意識するということは、AIとのやり取りの「分量メーター」を見ながら使うことです。長く渡せば渡すほどお金と上限を消費する、という感覚を持っておくと、設計の判断がぶれにくくなります。

知らないとどう困る？

トークンを知らないと、料金の見積もりが実態と大きくずれることがあります。検証中は安かったのに、本番で件数が増えた途端に費用が跳ね上がる、というのはよくある話です。 また、上限を超えた入力がうまく扱われず、答えの質が落ちている原因に気づきにくくなります。

よくある勘違い

明日やるならこれ

使っているAIサービスの料金ページと、一度に渡せるトークンの上限を1回だけ確認してみましょう。自分のよくある入力がだいたい何トークンくらいかを把握しておくと、見積もりの精度がぐっと上がります。

ひとことで言うと

トークンとは、AIの料金と入力上限の基準になる、文章の最小単位です。

関連用語

関連記事