次トークン予測の本質：Llmが「理解」に見える振る舞いを獲得する学習目的 | Cio

次トークン予測の本質：LLMが「理解」に見える振る舞いを獲得する学習目的 | CIO トピックス 閉じる 分析 人工知能 事業運営 キャリア クラウドコンピューティング データーセンター データ管理 DX（デジタルトランスフォーメーション） ダイバーシティ推進 Emerging Technology エンタープライズ・アプリケーション エンタープライズルーター 生成AI 業種 イノベーション ITリーダー ITマネジメント IT業務 IT戦略 ネットワーク プロジェクトマネジメント セキュリティ ソフトウェア開発 Vendors and Providers アフリカ アフリカ 南北アメリカ カナダ アメリカ合衆国 アジア アセアン インド 中東 日本 韓国 ヨーロッパ ドイツ スペイン アイルランド イタリア オランダ イギリス オセアニア オーストラリア ニュージーランド 著者: 石井 大智 次トークン予測の本質：LLMが「理解」に見える振る舞いを獲得する学習目的 特集 2026年01月06日 1分 LLMの学習は、驚くほど単純な目的から始まる。「これまでの文脈が与えられたとき、次に来るトークンを当てる」——多くのLLMは、この一点を徹底的に最適化して作られる。ところがその結果として、要約、翻訳、推論、プログラミング支援のような能力が“副産物”として立ち上がる。ここにLLMの不思議さがある。本稿では、数式を使わずに、次トークン予測が具体的に何を学習しているのか、モデルが出力する確率の意味、学習の評価指標として使われるパープレキシティの直観、そして「パープレキシティが良いのに役に立たない」ような限界まで、専門的な観点で説明する。 画像提供： winyuu / Shutterstock 目的は一つ：次のトークンを“もっともらしく”予測する 次トークン予測とは、文章を左から右へ読み進めながら、次に来るトークンの候補に確率を割り当てることだ。モデルは、語彙表にある膨大な候補の中から「この文脈ならこれが来そうだ」という分布を出す。学習では、実際にデータに書かれていた正解トークンの確率が高くなるように、モデルの内部パラメータを調整する。 ここで重要なのは、モデルが学んでいるのは「真実」ではなく「データの中で起きやすいこと」だという点である。文脈に対してどの語が続きやすいか、どの文体が自然か、どの説明が一般的かといった統計的規則を身につける。そのため、知識が“覚えたっぽく”見えるのは、データの中で「その話題にはこういう言い回しが続く」パターンを大量に学んでいるからだ。 学習で何が起きるか：正解の確率を上げ、外れの確率を下げる 学習の基本は、「正解を選べた度合い」に応じてペナルティを与えることだ。もしモデルが正解トークンに高い確率を割り当てたならペナルティは小さく、低い確率ならペナルティは大きくなる。これをすべての位置、すべての文章で足し合わせ、平均して最小化する。結果としてモデルは、文脈に合う候補へ確率を寄せ、合わない候補から確率を引いていく。 この学習は、いわば「次に来る単語当てクイズ」を膨大なデータで繰り返すことに相当する。だがクイズの難易度は高い。文章の後半に効く情報が前半に埋まっていることもあるし、常識や世界知識が必要な場合もある。モデルは正解を当てるために、語彙の共起だけでなく、文法、論理のつながり、因果関係、話題の一貫性など、役に立つ手がかりを内部表現として獲得していく。 Teacher forcing：学習時は“正解の過去”を与えて前進する 次トークン予測の学習では、推論時のようにモデルの出力を次の入力として使うのではなく、常にデータの正解列を入力として与える。つまり、各位置の予測は「これまでの正しいトークン列」を条件に行われる。これをteacher forcingと呼ぶ。こうすることで学習が安定し、各位置で確実に「正しい文脈」に対して予測を学べる。 ただしこの方式は、推論時との差を生むことがある。推論ではモデルが一度間違えると、その間違いを含む文脈の上で次を生成し続ける可能性がある。学習では常に正解文脈が与えられるため、この“誤りの連鎖”を直接には学ばない。実運用での生成の癖やエラー伝播は、ここからも生じ得る。 パープレキシティ：モデルが「どれだけ迷わず当てられるか」を測る直観指標 パープレキシティは、次トークン予測モデルの評価に使われる代表的な指標で、「モデルがどれだけ迷ったか」を表すものだと理解するとよい。直観的には、各位置で候補が何択に見えていたか、という“実効的な選択肢の数”に近い。パープレキシティが低いほど、モデルは正解に高い確率を寄せられており、迷いが少ない。 この指標が便利なのは、教師データがあれば自動で計算でき、学習の進み具合を定量的に追える点にある。モデルサイズ、データ量、正規化、最適化手法を変えたときに、改善が起きているかを見やすい。 一方で、パープレキシティは万能ではない。なぜなら、パープレキシティが測っているのは「データ上の次トークンを当てる能力」であって、「人間が望む応答を返す能力」ではないからだ。会話で丁寧に答える、指示に従う、拒否すべきものは拒否する、といった振る舞いは、次トークン予測だけでは保証されない。これが、事前学習モデルと指示追従モデルが分かれる理由の一つでもある。 「良い予測」と「良い回答」は一致しない：目的関数のギャップ 次トークン予測で最適化されるのは、データにおける“もっともらしさ”である。ところがユーザが求めるのは、正確さ、安全性、役立ち度、簡潔さ、根拠提示など、別の軸を含む。たとえば曖昧な質問に対して、データの平均的な続き方は「断定してそれっぽく答える」方向に寄ることがある。これは、会話データや説明文が断定的に書かれていることが多いためで、モデルはそれを模倣する。その結果、根拠がないのに自信ありげに語る“幻覚”が生じる土壌ができる。 また、次トークン予測は、最終的なゴールではなく途中の一手を評価する。長い推論を要する問題で、途中の説明が少し不自然でも最終回答が正しいことはあり得るし、逆に途中の説明が流暢でも結論が間違うこともある。局所的な次トークンの当てやすさと、全体としての問題解決能力は一致しない場合がある。 データ分布がすべてを決める：汎化と分布ずれ 次トークン予測は、学習データの分布を学ぶ。したがって、学習データに多い表現や領域では強くなり、少ない領域では弱くなる。専門分野の厳密な定義や、最新の出来事、社内固有の用語、特定フォーマットのログなどは、データに含まれない限り得意になりにくい。これが「分布ずれ」の問題であり、LLMが突然弱くなる典型的な理由である。 さらに、学習データが混ざり物であるほど、“平均的なもっともらしさ”を選ぶ傾向が出る。専門的に尖った回答より、一般的で無難な回答が確率的に優位になりやすい。モデルが「当たり障りのない」応答に寄る現象は、こうした分布の平均化と目的関数の性質から説明できる。 実装と運用の観点：目的が単純だからこそ管理が重要になる 次トークン予測の学習自体は単純だが、実装では細部が重要になる。入力と正解を一つずらして対応させる必要があり、パディングされた部分は損失計算から除外しなければならない。ここを誤ると、モデルは「空白を当てる」ことばかり学んでしまう。また、長文を扱うときは、どの位置の損失をどれだけ重視するかも設計項目になる。末尾ほど重要なのか、全体を均等に扱うのかで、生成の性格が変わり得る。 運用面では、学習の指標が良くてもプロダクトでの品質が良いとは限らないため、目的に応じた評価軸が必須になる。対話品質、正確性、安全性、指示追従などは、次トークン予測の指標とは別に測る必要がある。このギャップを埋めるためにSFTやPreference学習が導入されるのは、自然な流れである。 まとめ：単純な目的が強力なのは、言語が“予測可能な構造”を持つからである 次トークン予測は、「次を当てる」だけの目的でモデルを鍛える。しかしその過程で、文法、意味、話題の一貫性、常識、説明の型といった、予測に有利な構造が内部表現として獲得される。パープレキシティは迷いの少なさを測る便利な指標だが、良い回答や望ましい振る舞いを保証しない。モデルが“理解”しているように見えるのは、予測に必要な抽象構造を学んでいるからであり、同時にその目的の限界が幻覚や迎合といった副作用も生む。LLMを正しく扱うには、学習目的が何を最適化し、何を最適化しないのかを、最初に言語化しておくことが不可欠だ。 生成AI 人工知能 関連コンテンツ AIで得た生産性の40%が「手直し作業」で消えている 著者: Yoko Sueoka 2026年04月27日 5分 エージェンティックAIはエンタープライズソフトウェア市場をどう変えるか——6つの視点 著者: Yoko Sueoka 2026年04月24日 5分 ITの非効率は見えないコストをもたらしている——多くの企業が見逃す巨額の損失 著者: Yoko Sueoka 2026年04月16日 5分 AI活用は社員が嫌いな仕事から始めよ 著者: Yoko Sueoka 2026年04月10日 3分 ニュースレターを購読する その日の注目ニュースを編集から直接読者へお届け！ CIO.comのニュースレターでは、IT戦略、イノベーション、マネジメント、CIOの役割、人材管理、調達、運用、規制対応などの経営トピックに加え、クラウド、AI、アナリティクス、セキュリティ、モバイル、リモートワーク、ソフトウェア開発などの最新技術も幅広くカバー。中堅・大企業や公共機関向けに、CIOやCxOの独自インタビュー、国内事例、そして示唆に富むグローバル視点の海外情報も読者にお届けします。メールアドレスを入力して今すぐご登録ください！ 有効なEメールアドレスを入力してください サブスクライブ 著者： 石井 大智 編集者、CIO 日本 この著者の記事 feature 生成AIで加速する開発を壊さないテスト戦略：AI時代のテストピラミッド再設計 2026年02月25日 1分 feature AI利用を昇進条件に据えるのはアリ？アクセンチュアの事例から考える 2026年02月24日 1分 feature 日本のフィジカルAIを考える：ハードウェアの遺産はソフトウェアの遅れを相殺できるか 2026年02月20日 1分 feature OpenClaw（旧Moltbot）を利用する際に気をつけるべき重要ポイントとセキュリティ対策 2026年02月19日 1分 feature 今話題になっている「OpenClaw」って何？ 2026年02月18日 1分 feature なぜAI時代にフロントエンドの仕事から消えていくのか 2026年02月15日 1分 feature 日本「半導体復活」へ、国のカネはどう動いている？ 2026年02月14日 1分 feature AI時代に「消えるエンジニア」と「飛躍するエンジニア」の分水嶺：技術のコモディティ化が問いかける真の価値とは 2026年02月13日 1分 もっと見る ポピュラー 記事 ポッドキャスト ビデオ インタビュー 業務×デジタルの両輪を回せる人材を育てる──SGHグループの「DX人材育成法」の全貌 著者： Takashi Matsuzaki 2026年04月30日 5分 C-level Chief Information Officer キャリア インタビュー 人の可能性を信じ、テクノロジーで未来を設計する──DNP執行役員 情報システム本部長が語るAI・DX戦略の核心 著者： Nobumasa Takeuchi 2026年04月28日 10分 C-level Chief Information Officer キャリア インタビュー 人の経験に頼った物流から、データで動く物流へ──SGHグループが挑む「データドリブン経営」の真価 著者： Takashi Matsuzaki 2026年04月23日 5分 DX（デジタルトランスフォーメーション） ITリーダー ポッドキャスト AIとIoTでレストランを再定義する──日本マクドナルドCTOが描く事業成長のシナリオとは 2026年03月02日 32分 Chief Information Officer CIO Leadership Live ポッドキャスト 電通デジタルCAIOに聞く、テクノロジーとクリエイティブの融合が切り開くAI時代のマーケティング 2026年02月27日 32分 Chief Information Officer CIO Leadership Live ポッドキャスト AIは「新しいメディア」になる——博報堂ＤＹホールディングスCAIO（最高AI責任者）が描く創造性が拡張する未来 2026年02月09日 47分 CIO Leadership Live ビデオ 人の可能性を信じ、テクノロジーで未来を設計する──DNP執行役員 情報システム本部長が語るAI・DX戦略の核心 2026年04月21日 26分 Chief Information Officer CIO Leadership Live ビデオ オフィス移転の3並列プロジェクトが転機に——サイボウズ CIOが重視する「信頼の基盤」とは 2026年04月07日 36分 Chief Information Officer CIO Leadership Live ビデオ 工場からグローバルへ──横河電機を変えた「カイゼン × IT」の軌跡 2026年03月27日 20分 Chief Information Officer CIO Leadership Live