トークンとは何か

《 Claude完全ガイド 目次へ 》

10秒でいうと

トークンは、Claudeが文章を数えるときの単位です。文字数とは違います。日本語は英語のおよそ2倍を使います。
料金も、一度に読める量も、この単位で決まります。

Claudeを使っていると「トークン」という言葉に何度も出会います。料金の話にも、上限の話にも、長い会話が途切れる話にも、必ず出てきます。この単位を押さえておくと、そのあとの話が全部つながります。

トークンとは、モデルが文章を扱うときの最小の区切りです。文字より大きく、単語より細かいことが多い、中途半端な単位です。人間には見えませんが、モデルはこの単位で読み書きし、この単位で数えられています。

どういう区切りか

英語なら、だいたい単語ひとつが1トークンです。長い単語は2つ3つに割れます。unbelievableならun believ ableのように分かれる、というイメージです。

日本語は事情が違います。漢字1文字が1トークン、あるいはそれ以上を使うことがあります。ひらがなも、単語のまとまりで割れたり、1文字ずつになったりします。同じ内容を書いたとき、日本語は英語の2倍前後のトークンを使うと考えておくと、だいたい合います。

不公平に感じるかもしれませんが、これは日本語の文字数が少なく情報が詰まっているためでもあります。文字数で見ると日本語のほうが短く、トークン数で見ると多い。どちらの単位で数えるかの違いです。

量の目安

公式ドキュメントの記載では、100万トークンはおよそ55万5千語、あるいは250万文字にあたります(現行のトークナイザーの場合)。20万トークンならおよそ15万語です。

日本語で考えるなら、次のあたりを目安にしてください。

だいたいの量 目安のトークン数
メール1通 数百
A4の書類1枚 千前後
新書1冊 十数万
長編小説1冊 数十万

正確な数はモデルによって変わります。トークンの数え方はモデルごとに違い、新しい世代で変わることがあります。実際、Claude 4.7以降のモデルは新しい数え方を使っていて、同じ文章でも以前より3割ほど多いトークンになります。細かい数字を覚えるより、「A4一枚で千くらい」の感覚を持っておくほうが役に立ちます。

トークンを意識すると何が変わるか

3つあります。

料金が読めるようになる。APIを使うと、料金はトークン単位で決まります。詳しくはNo.08にまとめました。

上限が読めるようになる。一度に扱える量にも、一定時間に使える量にも上限があり、どちらもトークンで数えられています。

無駄が見えるようになる。会話に関係のない資料を大量に貼ると、そのぶんトークンを使い、そのぶん上限に近づきます。長くなった会話を新しく分けたほうがよい理由も、ここにあります。

やってみよう:同じ内容の日本語と英語を比べる(2分)

プロンプト
“`
次の文を英語に訳してください。そのあと、日本語と英語それぞれが
おおよそ何トークンになるか、あなたの見立てを教えてください。

契約書の第3条について、支払期日の解釈を確認したいので、
明日の午前中にお時間をいただけますか。
“`

期待される結果:英訳と、日本語のほうがトークンが多いという見立てが返る。

うまくいかないとき:トークン数は見立てであって正確な数ではありません。数字そのものより、日本語のほうが多くなるという傾向を確かめるのが目的です。

つまずきポイント

トークン数を正確に数えようとする。日常の使い方では必要ありません。正確に数えたいのはAPIで大量に処理するときだけで、そのときは専用の手段があります(No.53)。

長い資料を貼れば貼るほど賢くなると思ってしまう。逆です。関係のない情報が増えるほど、大事な部分が埋もれます。No.24で扱います。

応用のヒント

節約の第一歩は、要らない資料を渡さないことです。PDFを丸ごと渡す前に、関係する数ページだけ抜き出す。それだけで消費はかなり変わります。細かい節約の話はNo.44にあります。

関連ページ

まとめ

  • トークンはモデルが文章を扱う最小の区切り。料金も上限もこの単位
  • 日本語は英語のおよそ2倍。目安は「A4の書類1枚でおよそ千トークン」
  • 正確な数を覚えるより、要らない資料を渡さないほうが効く

次に読む

コンテキストウィンドウ

→ ガイドの目次に戻る

※本記事の情報は 2026年8月時点のものです。

タイトルとURLをコピーしました