論文の概要: Linear Spatial World Models Emerge in Large Language Models
- arxiv url: http://arxiv.org/abs/2506.02996v1
- Date: Tue, 03 Jun 2025 15:31:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:35.816438
- Title: Linear Spatial World Models Emerge in Large Language Models
- Title(参考訳): 大規模言語モデルに現れる線形空間世界モデル
- Authors: Matthieu Tehenan, Christian Bolivar Moya, Tenghai Long, Guang Lin,
- Abstract要約: 線形空間世界モデルに対して,大規模言語モデルが暗黙的に符号化されているかを検討する。
本研究では,空間空間モデルのための形式的枠組みを導入し,そのような構造が文脈埋め込みに現れるかどうかを評価する。
この結果から,LLMが線形空間世界モデルを符号化する証拠が得られた。
- 参考スコア(独自算出の注目度): 4.9185678564997355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated emergent abilities across diverse tasks, raising the question of whether they acquire internal world models. In this work, we investigate whether LLMs implicitly encode linear spatial world models, which we define as linear representations of physical space and object configurations. We introduce a formal framework for spatial world models and assess whether such structure emerges in contextual embeddings. Using a synthetic dataset of object positions, we train probes to decode object positions and evaluate geometric consistency of the underlying space. We further conduct causal interventions to test whether these spatial representations are functionally used by the model. Our results provide empirical evidence that LLMs encode linear spatial world models.
- Abstract(参考訳): 大規模言語モデル(LLM)は、様々なタスクにまたがる創発的な能力を示し、それらが内部世界モデルを取得するかどうかという疑問を提起している。
本研究では,LLMが物理空間とオブジェクト構成の線形表現として定義する線形空間世界モデルを暗黙的に符号化するかどうかを検討する。
本研究では,空間空間モデルのための形式的枠組みを導入し,そのような構造が文脈埋め込みに現れるかどうかを評価する。
対象位置の合成データセットを用いて、対象位置をデコードし、基礎となる空間の幾何的整合性を評価するためにプローブを訓練する。
さらに、これらの空間表現がモデルによって機能的に使用されているかどうかを検証するために因果介入を行う。
この結果から,LLMが線形空間世界モデルを符号化する証拠が得られた。
関連論文リスト
- Can LLMs Learn to Map the World from Local Descriptions? [50.490593949836146]
本研究では,Large Language Models (LLMs) がコヒーレントなグローバル空間認識を構築できるかどうかを検討する。
都市環境を模擬した実験により, LLMは実空間分布に一致した潜在表現を示すことを示した。
論文 参考訳(メタデータ) (2025-05-27T08:22:58Z) - FACTS: A Factored State-Space Framework For World Modelling [24.08175276756845]
本研究では,時空間空間モデリングのための新しいリカレントフレームワークであるtextbfFACTored textbfState-space (textbfFACTS) モデルを提案する。
FACTSフレームワークは、置換可能なメモリ表現を学習するルーティング機構を備えたグラフメモリを構築する。
汎用的な世界モデリング設計にもかかわらず、常に最先端のモデルに勝ったり、マッチする。
論文 参考訳(メタデータ) (2024-10-28T11:04:42Z) - Navigate Complex Physical Worlds via Geometrically Constrained LLM [10.89488333922071]
本研究は幾何規則の集合を導入し,多層グラフとマルチエージェントシステムフレームワークに基づくワークフローを開発する。
この研究は、幾何学的制約問題を解くために、大規模なモデル知識にインスパイアされた遺伝的アルゴリズムを用いている。
論文 参考訳(メタデータ) (2024-10-23T03:14:07Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - More than Correlation: Do Large Language Models Learn Causal
Representations of Space? [6.293100288400849]
本研究では,大規模言語モデルにおける空間表現の因果関係を明らかにすることに焦点を当てた。
実験の結果,空間表現が次の単語予測におけるモデルの性能に影響を与え,地理空間情報に依存する下流課題が示された。
論文 参考訳(メタデータ) (2023-12-26T01:27:29Z) - Language Models Represent Space and Time [7.754489121381947]
Llama-2モデルの3つの空間的データセット(世界,アメリカ,ニューヨーク)と3つの時間的データセット(歴史図形,アートワーク,ニュースヘッドライン)を解析した。
LLMが複数のスケールにわたる空間と時間の線形表現を学習することを発見した。
さらに、空間座標と時間座標を確実に符号化する個々の「空間ニューロン」と「時間ニューロン」を同定する。
論文 参考訳(メタデータ) (2023-10-03T17:06:52Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - Bridging the Gap to Real-World Object-Centric Learning [66.55867830853803]
自己教師付き方法で訓練されたモデルから特徴を再構成することは、完全に教師なしの方法でオブジェクト中心表現が生じるための十分な訓練信号であることを示す。
我々のアプローチであるDINOSAURは、シミュレーションデータ上で既存のオブジェクト中心学習モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2022-09-29T15:24:47Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳(メタデータ) (2020-07-13T17:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。