論文の概要: Cognitive Maps in Language Models: A Mechanistic Analysis of Spatial Planning

• arxiv url: http://arxiv.org/abs/2511.13371v1
• Date: Mon, 17 Nov 2025 13:46:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:25.237278
• Title: Cognitive Maps in Language Models: A Mechanistic Analysis of Spatial Planning
• Title（参考訳）: 言語モデルにおける認知地図:空間計画の力学解析
• Authors: Caroline Baumgartner, Eleanor Spens, Neil Burgess, Petru Manescu,
• Abstract要約: 我々はグリッド環境における3つの空間学習パラダイムに基づいてGPT-2モデルを訓練する。 行動、表現、機械的分析を用いて、2つの基本的な異なる学習アルゴリズムを明らかにする。
• 参考スコア（独自算出の注目度）: 2.1115884707107715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How do large language models solve spatial navigation tasks? We investigate this by training GPT-2 models on three spatial learning paradigms in grid environments: passive exploration (Foraging Model- predicting steps in random walks), goal-directed planning (generating optimal shortest paths) on structured Hamiltonian paths (SP-Hamiltonian), and a hybrid model fine-tuned with exploratory data (SP-Random Walk). Using behavioural, representational and mechanistic analyses, we uncover two fundamentally different learned algorithms. The Foraging model develops a robust, map-like representation of space, akin to a 'cognitive map'. Causal interventions reveal that it learns to consolidate spatial information into a self-sufficient coordinate system, evidenced by a sharp phase transition where its reliance on historical direction tokens vanishes by the middle layers of the network. The model also adopts an adaptive, hierarchical reasoning system, switching between a low-level heuristic for short contexts and map-based inference for longer ones. In contrast, the goal-directed models learn a path-dependent algorithm, remaining reliant on explicit directional inputs throughout all layers. The hybrid model, despite demonstrating improved generalisation over its parent, retains the same path-dependent strategy. These findings suggest that the nature of spatial intelligence in transformers may lie on a spectrum, ranging from generalisable world models shaped by exploratory data to heuristics optimised for goal-directed tasks. We provide a mechanistic account of this generalisation-optimisation trade-off and highlight how the choice of training regime influences the strategies that emerge.
• Abstract（参考訳）: 大規模言語モデルは空間ナビゲーションタスクをどのように解決するか? 我々は,グリッド環境における3つの空間学習パラダイムに基づくGPT-2モデルをトレーニングすることにより,ランダムウォークにおける受動的探索(Foraging Model- predicting steps in random walk),構造化ハミルトンパス(SP-Hamiltonian)上の目標指向計画(最適な最短経路の生成),探索データ(SP-Random Walk)を微調整したハイブリッドモデルについて検討する。 行動、表現、機械的分析を用いて、2つの基本的な異なる学習アルゴリズムを明らかにする。 フォーエイジングモデルは「認知地図」に似た、堅牢で地図のような空間表現を発達させる。 因果的介入は、空間情報を自己充足的な座標系に統合することを学び、ネットワークの中間層によって歴史的方向トークンへの依存が消滅する急激な位相遷移によって証明される。 このモデルは適応的で階層的な推論システムを採用しており、短いコンテキストで低レベルのヒューリスティックと長いコンテキストでマップベースの推論を切り替えている。 対照的に、目標指向モデルはパス依存のアルゴリズムを学習し、すべての層で明示的な方向入力に依存している。 ハイブリッドモデルは、親に対する一般化の改善を実証しているにもかかわらず、同じ経路依存戦略を維持している。 これらの結果は、探索データによって形成された一般化可能な世界モデルから、ゴール指向タスクに最適化されたヒューリスティックスまで、トランスフォーマーにおける空間知能の性質がスペクトル上にあることを示唆している。 我々は、この一般化最適化トレードオフの力学的な説明を提供し、トレーニング体制の選択が出現する戦略にどのように影響するかを強調する。

関連論文リスト

• Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [79.2162092822111]
  我々は,一連のナビゲーションタスクにおいて,強化学習(RL)と制御に基づく手法を体系的に評価する。 我々は、JEPA(Joint Embedding Predictive Architecture)を使用して、潜在ダイナミクスモデルを使用し、それを計画に使用します。 その結果,モデルベースプランニングではレイアウトが不明瞭になるのに対して,モデルフリーのRLは高品質なデータから恩恵を受けることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T18:39:41Z)
• TrajLearn: Trajectory Prediction Learning using Deep Generative Models [4.097342535693401]
  軌道予測は、現在位置と過去の動きデータを用いて、ある物体の将来の進路を推定することを目的としている。 これらの課題に対処するために,軌道予測の新しいモデルであるTrajLearnを紹介する。 TrajLearnは、複数の潜在的パスを探索するためにカスタマイズされたビーム検索を統合することで、次の$k$ステップを予測する。
  論文  参考訳（メタデータ） (2024-12-30T23:38:52Z)
• Persistent Topological Features in Large Language Models [0.6597195879147556]
  トポロジカルな特徴である$p$次元の穴が層全体に持続し、進化していくかを測定するトポロジカル記述子を導入する。 このことは、プロンプトがどのように再配置され、それらの相対的な位置が表現空間で変化するかという統計的視点を与える。 ショーケースアプリケーションとして、レイヤプルーニングの基準を確立するためにzigzag Persistenceを使用し、最先端の手法に匹敵する結果を得る。
  論文  参考訳（メタデータ） (2024-10-14T19:46:23Z)
• NNPP: A Learning-Based Heuristic Model for Accelerating Optimal Path Planning on Uneven Terrain [5.337162499594818]
  本稿では,この縮小された検索空間内でのみ最適な経路をAstarのような基礎アルゴリズムで見つけることができるNNPPモデルを提案する。 NNPPモデルは、多くの事前注釈付き最適経路のデモから、スタート地点とゴール地点に関する情報とマップ表現を学習する。 新規地図上での経路計画のテキストカラー化が可能である。
  論文  参考訳（メタデータ） (2023-08-09T08:31:05Z)
• Learning to Predict Navigational Patterns from Partial Observations [63.04492958425066]
  本稿では,実環境におけるナビゲーションのパターンを,部分的な観察のみから推測する,初めての自己教師型学習(SSL)手法を提案する。 我々は、DSLPフィールドに最大極大グラフを適合させることにより、グローバルなナビゲーションパターンを推論する方法を実証する。 実験により,我々のSSLモデルはnuScenesデータセット上で2つのSOTA教師付きレーングラフ予測モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-04-26T02:08:46Z)
• PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
  我々は PDSketch という新しいドメイン定義言語を提案する。 これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。 移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
  論文  参考訳（メタデータ） (2023-03-09T18:54:12Z)
• Localized active learning of Gaussian process state space models [63.97366815968177]
  多くの共通制御アプリケーションにおいて、優れた性能を達成するためには、グローバルに正確なモデルを必要としない。 本稿では,状態-作用空間の有界部分集合上の正確なモデルを得ることを目的としたガウス過程状態空間モデルに対する能動的学習戦略を提案する。 モデル予測制御を用いることで、探索中に収集した情報を統合し、探索戦略を適応的に改善する。
  論文  参考訳（メタデータ） (2020-05-04T05:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。