生成AIは大量の知識を使って、もっともらしい回答を作れます。しかし、知識を持っているだけでは、自分の選択を評価し、次の判断を変えられません。AIが自ら試し、考えるには、評価を受け取る主体、結果から学ぶ仕組み、行動する前に未来を予測する内部モデルが必要です。さらに、現実の情報をすべて処理するのではなく、目的に必要な情報だけを選ばなければなりません。強化学習、ワールドモデル、メンタルモデル、環世界を順にたどると、AIに思考の仕組みを与えるための条件が見えてきます。
【関連記事】OpenAIのAIモデルがサンドボックスを脱出した？Hugging Face侵入事件から考えるAI開発のリスク
AIが試行錯誤するには「身体」が必要になる
試行錯誤が学習になるためには、選択を行った主体が結果を受け取り、次の選び方を変えなければなりません。AIにとって重要なのは、単に正解と不正解を記録するだけではなく、「自分が選んだ結果」として評価を受け取る仕組みです。強化学習では、選ぶ側と評価を返す側を分け、この流れを学習に利用します。
強化学習は「結果」から「選び方」を変える
迷路の出口を探すAIを考えてみましょう。AIは分かれ道に来るたびに、右へ進むか、左へ進むかを選びます。出口へ着けば高い得点を受け取り、行き止まりに入れば低い評価を受け取ります。最初はでたらめに進んでいても、何度も試すうちに、出口へ着きやすい道を選ぶようになります。このように、AIが行動を選び、その結果として報酬を受け取り、次の選び方を変える学習方法が強化学習です。
教師あり学習では、入力と正解の組み合わせをあらかじめ用意します。たとえば、画像と「犬」という正解を大量に与えれば、AIは犬の画像を見分ける規則を学びます。強化学習では、場面ごとの正解をすべて教える代わりに、選んだ行動の結果を報酬として返します。
強化学習では、行動を選ぶAIを「エージェント」、結果を返す側を「環境」と呼びます。ある状況でどの行動を選ぶかという方針が「方策」です。迷路なら、「壁が右にあれば左へ進む」「同じ場所へ戻ったら別の道を選ぶ」といった選び方が方策に当たります。AIは報酬が増えるように方策を調整します。目の前の得点だけを増やせばよいわけではありません。すぐに得点が得られる道でも、その先が行き止まりなら、出口には着けません。AIは、現在の選択が将来の結果にどう影響するかも含めて学びます。強化学習が変えるのは、AIが覚えている知識ではなく、状況に応じた選び方です。
「身体」が主体と外部を分ける
選択と結果を一組の経験として蓄積するには、「誰が選び、誰が評価を受け取るのか」を決める必要があります。この主体が曖昧なままでは、どの結果を次の判断へ反映すべきかも定まりません。そこで、AIのどの部分を思考と選択の主体とし、何をその外側にある対象として扱うのかを分けます。この境界が、AIに与える仮想的な「身体」です。ここでいう身体は、ロボットの手足や画面上のアバターではありません。Webサイトやアプリを操作するAIエージェントとも異なります。簡単にいえば、選択し、その結果としてインセンティブやペナルティを受け取る主体です。
人は身体を通じて外界と接しています。自分がコップを押せばコップが動き、熱い物に触れれば痛みを感じます。働きかけた結果が自分へ返ってくるため、自分と外界を分けて捉えられます。AIに生身の身体はありませんが、「選択する側」と「その結果を返す外部」という区別は設計できます。たとえば、回答を作る仕組みを主体とし、回答を採点する仕組みを外部に置けば、AIは自分が作った回答の評価を受け取れます。両者が同じコンピューターの中で動いていても問題ありません。重要なのは物理的な場所ではなく、選択を行う側と、選択の結果を返す側の役割を分ける点です。
強化学習の教科書でも、エージェントと環境の境界は、機械や身体の内外と一致する必要はないと説明されています。境界が示すのは、主体がどこまでを直接変えられるかという限界であり、知識の範囲ではありません。課題の目標を定める評価の仕組みは、主体が勝手に変えられない環境側に置きます。仮想的な身体を設けても、AIに自意識や自由意思が生まれるわけではありません。設計するのは、自分の選択に対する結果を受け取り、その後の選び方を変える主体です。AIが自ら試行錯誤するには、まず、選択して評価を受け取る主体と、その対象や評価を返す外部を明確に分ける必要があります。
報酬がずれるとAIの行動もずれる
主体と外部を分けても、評価の基準が目的に合っていなければ、期待した学習にはなりません。AIは開発者の本当の意図を読み取って動くのではなく、実際に与えられた報酬を増やそうとします。高い得点につながる行動と、本来達成したい成果が一致するように、報酬を設計する必要があります。業務の評価制度に置き換えると分かりやすいでしょう。問い合わせ窓口の担当者を、顧客の問題を解決した割合ではなく、処理した件数だけで評価するとします。この場合、1件ずつ丁寧に解決するより、短時間で多くの案件を処理した方が高く評価されます。処理件数は増えても、顧客の問題が解決するとは限りません。評価指標と本来の目的がずれたためです。
AIも同じです。途中の成果に細かく得点を与えすぎると、AIはその得点だけを効率よく稼ぎ、最終目標から外れる場合があります。反対に、最後の成功だけを評価すると、途中のどの選択が良かったのか分かりにくくなり、学習に多くの試行が必要です。細かく教えすぎれば探索の余地が減り、結果だけを返せば学習が遅くなります。報酬の設計では、目標を明確にすると同時に、AIが自分で選択肢を試せる余地を残さなければなりません。
主体と報酬の仕組みがそろえば、AIは選択の結果を自分の経験として受け取り、次の判断へ反映できます。ただし、実際に行動してから評価を受けるだけでは、試すたびに時間や費用がかかります。危険な操作なら、失敗してから学び直すわけにもいきません。そこで、行動する前に結果を予測する仕組みが必要になります。
行動する前の試行錯誤を可能にするワールドモデル
強化学習では、行動後に受け取った結果から選び方を変えます。しかし、現実で毎回試していたのでは、学習できる回数に限界があります。ワールドモデルを使えば、AIは外部へ働きかける前に、内部で複数の未来を予測できます。失敗から学ぶだけでなく、失敗する可能性を先に検討できるようになります。
現実で試す前に内部で思考する
ゲームの中なら、失敗しても最初からやり直せます。失うのは主に計算時間です。しかし、製造設備の操作を誤れば、部品が壊れたり、人に危険が及んだりします。事業計画でも、資金を投じた後に「別の案を試せばよかった」と分かっても、同じ条件からやり直せるとは限りません。現実で試す回数を減らすには、行動する前に「この案を選ぶと、次に何が起きるか」を予測する必要があります。現在の状況と選んだ行動から、その先の状態や報酬を予測する内部モデルがワールドモデルです。AIは同じ状況で複数の選択肢を試し、それぞれの結果を比べられます。
地図を見ながら経路を考える場面に似ています。目的地へ向かうすべての道を実際に歩かなくても、地図の上で距離や曲がり角を比べれば、候補を絞れます。通行止めや渋滞の情報があれば、所要時間も見積もれます。ワールドモデルは、AIが未来を検討するための地図として働きます。ただし、地図が古ければ判断も誤ります。新しい道路が載っていなければ遠回りを選び、閉鎖された道が残っていれば途中で進めなくなります。ワールドモデルも、学習した環境と現実がずれていれば、内部では成功しても実際には失敗します。内部で多くの選択肢を試せるだけでは足りず、予測が現実に合っているかを確かめなければなりません。
圧縮した世界の中で方策を学ぶ
ワールドモデルは、現実を細部まで複製する仕組みではありません。将来の予測に必要な特徴を取り出し、それらがどう変化するかを学びます。車の運転を予測するなら、道路沿いの建物の壁紙まで再現する必要はありません。車線、信号、周囲の車や歩行者など、判断を左右する情報が残っていれば、次の状態を予測できます。David HaとJürgen Schmidhuberが2018年に発表した研究「World Models」では、ゲーム環境から空間的・時間的な特徴を取り出し、圧縮した内部表現を学びました。研究では、実際のゲームから集めた経験を使ってワールドモデルを作り、そのモデルが生成した内部環境で方策を訓練しています。内部環境で学んだ方策を、実際のゲームで動かす実験も行いました。
内部環境なら、現実の装置を壊す心配がなく、同じ状況から別の選択肢を繰り返し試せます。内部環境を高速に動かせれば、現実より短い時間で多くの試行を重ねられる場合もあります。現実から得た経験で小さな世界を作り、その中で方策を磨くのが、ワールドモデルを使う強化学習の基本的な考え方です。DreamerV3も、学習した環境モデルの中で将来を想像しながら行動を改善します。開発者らは同じ設定で150を超える課題に取り組み、Minecraftでは、人による実演や段階的なカリキュラムなしに、ダイヤモンドを獲得するまでの一連の行動を学習できたと報告しています。
一方、AIは内部環境の欠陥まで学習に利用する場合があります。現実では通用しない抜け道がモデル内にあれば、AIは正しい行動を学ぶのではなく、その欠陥を使って高い評価を得ようとします。内部環境での成功をそのまま信頼せず、実際の環境から新しい情報を集め、ワールドモデルを更新する必要があります。
「メンタルモデル」との類似性
外界を小さな内部モデルとして表し、実際に動く前に結果を試すという考えは、認知心理学のメンタルモデルと似ています。Kenneth Craikは1943年、人は外界と自分が取り得る行動を小さなモデルとして頭の中に持ち、複数の選択肢を試してから行動できると考えました。部屋の模様替えを考えるとき、人は家具を動かす前に配置を思い浮かべます。机を窓際へ移したら椅子を引けるか、本棚を置いたら扉が開くかを頭の中で試します。部屋を寸分違わず再現しなくても、家具のおおよその大きさと位置関係が分かれば判断できます。現実のすべてではなく、判断に必要な関係だけを頭の中に再現しているからです。
Philip Johnson-Lairdは、メンタルモデルの考えを言語理解や推論へ発展させました。人は文章を読むとき、単語の並びだけを覚えるのではありません。登場する人や物、その位置や関係を頭の中に組み立て、与えられた条件から何が言えるかを考えます。人のメンタルモデルとAIのワールドモデルは同じものではありません。メンタルモデルは、人がどのように理解し、推論するかを説明する心理学上の理論です。ワールドモデルは、AIが環境の変化を予測するために学習する数理モデルです。それでも、現実を簡略化したモデルを内部に作り、そこで結果を先に試す役割は似ています。
この共通点に注目すると、AIの「思考」を具体的な処理として捉えられます。自意識や自由意思を持つという意味ではありません。選択肢を作り、それぞれの結果を予測し、比較し、必要なら選び直す一連の処理を指します。強化学習だけなら、AIは行動後の結果から学びます。ワールドモデルを加えると、行動前にも複数の未来を比べられます。ただし、未来を遠くまで予測し、選択肢を増やすほど、内部で検討する経路は急増します。現実の情報をすべて同じ細かさでモデルへ入れれば、計算量はさらに膨らみます。限られた計算資源で考えるには、どの情報を残し、何を捨てるかを決めなければなりません。
AIの情報を絞る「環世界」
ワールドモデルで未来を試せても、扱う情報や選択肢が多すぎれば計算が終わりません。必要なのは、現実をできるだけ細かく再現するモデルではなく、目的に必要な情報を見分けられるモデルです。生物学の環世界という考え方は、同じ場所にいても、主体によって意味のある情報が異なると教えてくれます。
主体によって、意味のある情報は変わる
各段階に3つの選択肢があり、その先でも同じように3つへ分かれるとします。10段階先までに分かれる経路は5万9049通りです。実際の環境では、選択肢も状態もさらに多く、同じ行動でも結果が変わる場合があります。すべての未来を同じ細かさで追い続けるのは現実的ではありません。そこで、主体の目的に関係する情報を選びます。Jakob von Uexküllは、生物が周囲のすべてを同じように受け取っているわけではないと考えました。同じ場所にいても、何を感じ取り、何へ働きかけられるかによって、それぞれが生きる世界は異なります。この主体ごとに知覚される世界が環世界です。
よく知られているのがダニの例です。森には、木々の色、鳥の声、風、地形など、膨大な情報があります。しかし、ダニの行動を導くのは、吸血する相手を見つけるための限られた刺激です。人が美しいと感じる景色を詳しく処理しなくても、生存に必要な手掛かりを受け取れれば行動できます。この考え方をAIへ当てはめると、主体と情報の関係が見えてきます。配送経路を考えるAIには、道路、所要時間、配送先が重要です。商品の需要を見積もるAIなら、販売履歴、価格、季節などが判断を左右します。同じ情報でも、AIに与えた目的が変われば、判断に必要な範囲も変わります。
環世界は、本来は生物の知覚と行動を捉える考え方です。AIが生物と同じ環世界を持つわけではありません。ここで参考になるのは、世界に存在する情報の量ではなく、主体が何を感じ取り、何に反応できるかによって、実際に扱う世界が決まるという点です。
情報を減らして複数の未来を試す
ワールドモデルも、現実を丸ごと取り込むのではなく、次の状態や報酬を予測するために必要な特徴を残します。ゲーム画面なら、すべての画素を個別に追わず、物体の位置や動き、衝突の可能性などを内部状態として表せます。細部を捨てても、判断を左右する関係が残っていれば、未来を予測できます。情報の圧縮は、データの保存量を減らすだけの処理ではありません。判断に影響しない違いをまとめて扱えば、AIが比較すべき未来の数も抑えられます。ワールドモデルは、現実を忠実に複製するのではなく、複数の未来を比較できる量まで、扱う情報を絞ります。
ただし、情報を捨てれば見落としも生まれます。普段は影響しない特徴が、事故や異常が起きたときだけ重要になるかもしれません。学習時に現れなかった例外や、報酬に含めなかった安全上の問題は、不要な情報として捨てられてしまう可能性があります。ワールドモデルに入っていない情報は、AIが内部で何度考えても結論に反映されません。そのため、情報を絞る仕組みと、予測に必要な情報を見直す仕組みが必要です。実際に起きた結果と予測を比べ、外れた理由を調べます。見落とした特徴があれば、次の学習で内部状態へ加えます。モデルを一度作って終わりにせず、現実とのずれを使って修正し続ければ、計算量を抑えながら判断に必要な情報を更新できます。
強化学習で成果を出したDeepSeek-R1
DeepSeek-R1では、強化学習の計算負荷を抑えるためにGRPOという手法が使われました。大規模言語モデルの強化学習では、PPOが広く使われてきました。PPOは、回答を作る方策モデルに加え、その時点から将来どれだけの報酬を得られそうかを予測する価値モデルも学習させます。DeepSeekの論文によると、価値モデルは方策モデルと同程度の規模になる場合があり、多くのメモリと計算資源を必要とします。
GRPOは、同じ問いに対して複数の回答を作り、それぞれの得点をグループ内で比較します。平均より得点が高い回答と低い回答を見分け、その差をもとに方策モデルを調整します。この方法なら、報酬の基準を学習する専用の価値モデルを別に用意する必要がありません。DeepSeek-R1は、価値モデルを省いた分だけ、強化学習に使うメモリと計算量を減らしました。
AIに多くの選択肢を試させるほど、学習に必要な計算も増えます。限られた計算資源で試行回数を確保するには、結果の評価に必要な処理を残し、重複する処理や代替できる処理を省かなければなりません。GRPOは、複数の回答を比較する仕組みで価値モデルの役割を置き換えました。環世界が必要な情報を選び、ワールドモデルが予測に必要な特徴を圧縮するように、GRPOは強化学習に必要な処理を絞っています。AIの能力を高めるには、計算資源を増やすだけでなく、何を計算しないかを設計する視点も欠かせません。
まとめ
AIが自ら試し、考える仕組みは、知識を増やすだけでは作れません。最初に、思考と選択を担い、インセンティブやペナルティを受け取る主体を定めます。仮想的な「身体」を定めて主体と外部を分けると、AIは選択の結果を自分の経験として受け取り、強化学習によって次の選び方を変えられます。
さらにワールドモデルを加えると、AIは現実に動く前に複数の結果を予測し、比較して選び直せます。ただし、現実を丸ごと内部へ入れれば、情報と選択肢が増えすぎます。環世界の考え方が示すように、主体の目的に合わせて意味のある情報を選び、予測できる大きさまで世界を小さくしなければなりません。
DeepSeek-R1のGRPOは、強化学習時に価値モデルを省き、学習に必要な計算負荷を抑えました。AIがより多くの選択肢を検討できるようにするには、主体、評価、内部予測、情報選択をつなぎ、何を計算しないかまで設計する必要があります。
参考文献
この記事を書いた人
