生成AIのトークンとは？料金と仕組みを完全解説

生成AIを使っていると、「トークン」という言葉を頻繁に目にします。

しかし、トークンが何を指し、なぜ料金や出力品質、長文処理の可否に直結するのかは、意外と整理しづらいものです。

特に業務利用では、コスト見積もりや運用ルールづくりの場面で、トークンの理解が不足していると想定外の請求や、途中で回答が途切れるなどの問題につながりかねません。

この記事では、生成AIにおけるトークンの定義から、トークン化（トークナイゼーション）の仕組み、入力・出力トークン別の課金、コンテキストウィンドウの制限、そしてコスト最適化の実務ポイントまでを、客観的に整理します。

トークンは「AIが読む単位」であり、料金と文脈保持の基準になります

生成AIのトークンとは、AIモデルがテキストを理解・生成するための最小単位です。

文章は文字、単語、またはサブワード（部分単語）などの断片に分割され、AIはそれを数値IDへ変換して処理します。

例えば「私は生成AIが好きです」は、["私は", "生成", "AI", "が", "好き", "です"]のようにトークン化される例が示されています。

このように、トークンは「AIが計算する単位」であり、次の2点で重要です。

• 料金がトークン数（入力・出力）に比例して増減する
• モデルが保持できる文脈（コンテキスト）がトークン上限で決まる

トークンが重要になる理由は「分割」と「次トークン予測」にあります

トークン化（トークナイゼーション）はNLPの代表的な前処理です

トークン化（トークナイゼーション）は、自然言語処理（NLP）における前処理として広く使われています。

近年の生成AIでは、BPE（Byte-Pair Encoding）などの手法が主流とされています。

BPEは頻出する文字列の組み合わせを学習し、単語より細かい「サブワード」単位で分割しやすい特徴があります。

その結果、未知語や造語にも一定の対応が可能になり、モデルの汎用性が高まると考えられます。

生成AIは「次に来るトークン」を予測して文章を作ります

多くの生成AIは、文脈から次のトークンを予測し、順に出力していく方式（次トークン予測）で文章を生成します。

つまり、モデルが扱う実体は文章そのものではなく、トークン列です。

この仕組み上、入力が長くなるほど参照すべきトークンが増え、計算量やコストが増加しやすくなります。

コンテキストウィンドウが「覚えていられる範囲」を決めます

生成AIには、一定のトークン数までしか同時に処理できない制限があります。

この上限は「コンテキストウィンドウ（最大処理トークン数）」として説明されます。

リサーチ結果では、2026年現在、GPT-4oやClaude 3.5 Sonnetなどで128K〜1Mトークンへ拡大している動向が示されています。

一方で、上限を超えると、入力の一部が切り捨てられたり、生成が途中で中断されたりする可能性があります。

運用面では、「長文を入れれば必ず賢くなるわけではない」という点も押さえる必要があります。

料金は「入力トークン」と「出力トークン」で分かれて課金されます

多くの生成AI APIは従量課金が標準で、入力トークンと出力トークンを分けて課金する体系が一般的です。

リサーチ結果では、トークンの種類として次が整理されています。

• 入力トークン：プロンプト（指示文）や会話履歴に含まれるトークン数
• 出力トークン：モデルが生成した回答のトークン数
• 総トークン：入力＋出力の合計

また料金例として、OpenAI GPT-4では入力1,000トークンあたり約3セント、出力は約6セントという情報が示されています。

出力単価が高い設計になりやすいため、長文回答を求めるほどコストが増えやすい点に注意が必要です。

日本語は英語よりトークン数が増えやすい傾向があります

リサーチ結果では、日本語は英語よりトークン数が多くなりがちで、コスト最適化の議論が活発とされています。

例として、日本語「私はAIを使います。」は約7トークン（「私」「は」「AI」「を」「使い」「ます」「。」）という説明があります。

一般に「1文字≒1トークン」が目安として語られることがありますが、実際にはモデルやトークナイザー、文字種（漢字・ひらがな・英数字）により変動します。

見積もりの際は、目安だけで判断せず、トークンカウンターで確認することが現実的です。

トークンを理解するための具体例（料金・分割・上限）

具体例1：短い日本語でも複数トークンに分割されます

「私は生成AIが好きです」のような短文でも、トークン化されると複数の単位に分割されます。

リサーチ例では、["私は", "生成", "AI", "が", "好き", "です"]のように分割され、各トークンは数値IDに変換されて処理されると説明されています。

このため、見た目の文字数とトークン数が一致しないことがあります。

具体例2：同じ内容でも「書き方」でトークン数が変わる可能性があります

日本語では表記ゆれが起きやすく、同じ意味でもトークン数が変わる可能性があります。

例えば、箇条書きの装飾や冗長な前置き、重複した注意書きが増えると、その分だけ入力トークンが増加します。

業務でテンプレートを多用する場合は、テンプレート自体がコストを押し上げることがあり得ます。

具体例3：入力が長いと「途中で途切れる」「参照できない」ことがあります

コンテキストウィンドウには上限があるため、長い資料を貼り付けたり、会話履歴を延々と保持したりすると、上限超過が起きる可能性があります。

リサーチ結果でも、超過時に生成が中断される影響が示されています。

対策としては、必要部分だけを抽出して渡す、要約してから投入する、章ごとに分割して処理する、といった設計が考えられます。

具体例4：料金は「入力」と「出力」を分けて見積もると管理しやすいです

従量課金では、入力と出力で単価が異なることが多いです。

リサーチ例のように、入力より出力の方が高いケースもあります。

そのため、運用管理では次のように分けて設計すると整理しやすいです。

• 入力：プロンプトを短くし、参照情報を絞る
• 出力：必要な長さを指定し、過剰な長文生成を避ける

トークン運用で押さえるべき要点

生成AIのトークンは、単なる技術用語ではなく、コストと品質、そして運用安定性に直結します。

要点は次のとおりです。

• トークンはAIが処理する最小単位で、文章はトークンに分割され数値IDとして扱われます
• 入力トークン／出力トークン／総トークンの区別が、料金管理の基本になります
• 多くのサービスは従量課金で、トークン数が増えるほどコストが増加します
• コンテキストウィンドウには上限があり、超過すると中断や参照漏れが起きる可能性があります
• 日本語はトークン数が増えやすい傾向があるため、事前のトークン計測と最適化が重要です

次に取るべき行動は「計測」と「削減」の習慣化です

トークンを理解したら、次は運用に落とし込むことが重要です。

リサーチ結果でも、トークンカウンター（OpenAI Playground等）で事前確認することが推奨されています。

まずは、普段使っているプロンプトをトークンカウンターで計測し、入力がどこで膨らんでいるかを把握するとよいです。

そのうえで、不要な前置きや重複表現を削り、要約やプロンプト圧縮などの効率化を試すと、品質を維持しながらコストを抑えられる可能性があります。

小さな改善でも、利用頻度が高いほど効果が積み上がります。