論文の概要: World Modeling in Transformers

• arxiv url: http://arxiv.org/abs/2609.21748v1
• Date: Fri, 18 Sep 2026 13:24:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.112995
• Title: World Modeling in Transformers
• Title（参考訳）: 変圧器の世界モデリング
• Abstract要約: 振舞いの失敗は、トランスフォーマーがその環境の忠実な表現を学んだとしても、世界モデルが欠落しているように見える。 モデルが交差点や道路を表現し,その位置をトラックし,目標コンパスを用いてナビゲートすることを示す。 我々の研究は、モデルが世界モデルを持っているかどうかを問うことから、その世界モデリングを機械的に研究することへの移行を動機付けている。
• 参考スコア（独自算出の注目度）: 0.8921166277011344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Behavioral failures can make a transformer appear to lack a world model even when it has learned faithful representations of its environment. We demonstrate this in TaxiGPT, a transformer trained on random walks through Manhattan whose failures have been interpreted as evidence of an incoherent internal map. Through mechanistic analysis and causal interventions, we show that the model represents intersections and streets, tracks its position, and uses a goal compass to navigate. We trace its failures to interference between superposed intersection features, which disrupts localization within the internal map. Affordance packing, which groups representations of intersections with the same legal moves, helps limit the consequences of these errors. Finally, we propose mechanistic indicators that we use to compare models and show that world-modeling capacities emerge at different stages of training. Our findings motivate a shift from asking whether a model has a world model to mechanistically studying its world modeling: the interacting capacities through which it represents its environment and uses those representations to guide behavior.
• Abstract（参考訳）: 振舞いの失敗は、トランスフォーマーがその環境の忠実な表現を学んだとしても、世界モデルが欠落しているように見える。 私たちはTaxiGPTでこれを実証した。TaxiGPTはマンハッタンを無作為な歩行で訓練したトランスフォーマーで、失敗は不整合の内部マップの証拠として解釈されている。 機械的解析と因果介入により,このモデルが交差点や道路を表現し,その位置をトラックし,目標コンパスを用いてナビゲートすることを示す。 我々は、内部マップ内の局所化を阻害する重畳交叉特徴間の干渉による障害をトレースする。 同じ法的動きを持つ交差点の表現をグループ化するアフォーダンス・パッキングは、これらのエラーの結果を制限するのに役立つ。 最後に、モデルの比較に使用する力学指標を提案し、トレーニングの異なる段階で世界モデリング能力が出現することを示す。 我々の研究結果は、モデルが世界モデルを持っているかどうかを問うことから、その世界モデリングを機械的に研究することへの移行を動機付けている。

関連論文リスト

• Learning Implicit Causal World Models from Multi-Agent Demonstrations [0.16921396880325776]
  モデルに基づく強化学習では、世界モデルは内部シミュレータとして存在するが、それらのトレーニングはしばしば因果メカニズムと統計的相関を混同する。 本稿では,インプリシット因果世界モデルを導入して,事前に定義された因果グラフを必要とせず,オフラインでの実証から環境動態を復元する。
  論文  参考訳（メタデータ） (2026-07-28T23:18:38Z)
• What Do They See? Interpreting Complex Road Scenarios Through the Eyes of Vision-Language-Action Models for Safe and Trustworthy Autonomous Vehicle Learning [2.5264159985739623]
  フロントカメラ画像から検出対象を体系的に除去するフレームワークを提案する。 これにより、各オブジェクトの存在がモデルの計画行動に与える影響を分離する。 また、モデルが人間ドライバーが考慮する対象に強く反応するケースも見つかる。
  論文  参考訳（メタデータ） (2026-07-18T19:20:16Z)
• Trimming the Long-Tail of Visual World Modeling Evaluation [67.17191772079316]
  本論文では,不規則な物理的相互作用をシミュレートするために世界モデルに挑戦するベンチマークであるTailor-Benchを紹介する。 通常のシナリオは共通のツールとタスクのペアを反映し、従来型のツールを属性互換の代替品に置き換え、Impossibleシナリオは属性違反ツールを導入している。 実験結果から,物理世界モデリングの長期的ギャップは明らかであり,共通相互作用を超越した一般化の限界が示唆された。
  論文  参考訳（メタデータ） (2026-06-23T07:43:41Z)
• Sensorimotor World Models: Perception for Action via Inverse Dynamics [59.121736411156384]
  Inverse dynamics regularization で訓練されたエンド・ツー・エンドのセンサモレータ・ワールドモデルを導入する。 表現の崩壊を防ぎ、アクション整列表現を誘導する。 コンパクトで解釈可能な潜在空間を学習し、単純な2Dおよび3D制御タスク間の競合計画性能を実現する。
  論文  参考訳（メタデータ） (2026-06-18T11:25:16Z)
• What Do World Models Learn in RL? Probing Latent Representations in Learned Environment Simulators [6.400424118459376]
  アーキテクチャ的に異なる2つの世界モデル(IRISとDIAMOND)に解釈可能性技術を適用した。 両モデルともゲーム状態変数の線形デオード可能な表現を開発する。 IRISアテンションヘッドの分析は空間的特殊化を明らかにし、特定のヘッドはゲームオブジェクトと重複するトークンに優先的に出席する。
  論文  参考訳（メタデータ） (2026-03-23T04:00:53Z)
• Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models [60.87795376541144]
  World Model(ワールドモデル)は、エージェントの次の状態を予測できるニューラルネットワークである。 エンド・ツー・エンドのトレーニングでは、人間のデモで観察された状態と整合してエラーから回復する方法を学ぶ。 クローズドループ試験における先行技術に有意な改善がみられた定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-09-25T06:48:25Z)
• Homomorphism Autoencoder -- Learning Group Structured Representations from Observed Transitions [51.71245032890532]
  本研究では,世界に作用するエージェントが,それを修飾する動作と整合した感覚情報の内部表現を学習できるようにする手法を提案する。 既存の作業とは対照的に、我々のアプローチはグループの事前の知識を必要とせず、エージェントが実行可能なアクションのセットを制限しない。
  論文  参考訳（メタデータ） (2022-07-25T11:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。