論文の概要: Do World Models Learn Global Understanding?

• arxiv url: http://arxiv.org/abs/2609.34058v1
• Date: Mon, 28 Sep 2026 00:38:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:24:07.71611
• Title: Do World Models Learn Global Understanding?
• Title（参考訳）: 世界モデルはグローバルな理解を学ぶか?
• Abstract要約: 大きな言語モデル (LLM) は、ある概念を正しく説明するが、適用しないかもしれないし、ある文脈で安全命令に従うかもしれない。 この行動は、局所的な情報をグローバルな理解へと持ち上げるのに一般的な失敗を示唆している。 我々は,モノイド世界,行動遷移によって関連づけられた状態の集合,観察されたトレーニング遷移と目に見えない制約を共同で決定する学習タスクを構築する。
• 参考スコア（独自算出の注目度）: 46.262619407930266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI systems often feel brittle and fragmented. A large language model (LLM) may correctly explain a concept but fail to apply it, or follow safety instructions in one context but not another. This behavior suggests a general failure to lift local information to a global understanding. To gain fundamental insight, we frame "understanding" as learning constraints and propagating their consequences. We construct learning tasks on monoid worlds, sets of states connected by action transitions, where observed training transitions and an unseen constraint jointly determine held-out transitions. Measuring generalization tests whether models can learn global constraints from local transitions and propagate their consequences. We consider inverse, commutativity, composition, and periodicity constraints relevant to spatial and semantic structure. Across attention, recurrent, and state-space architectures, next-state training fits the data but fails to propagate non-trivial constraints. Compositional training, which uses identical paths but hides intermediate states from the input, achieves 96% accuracy on inverse, commutativity, and composition constraints across architectures, yields corresponding improvements in geometric generalization of world models trained on embodied environments and relational generalization in Wikidata-finetuned LLMs. How far do models propagate constraints when inferring an unseen fact may depend on first inferring others? We define proof depth d of a held-out transition, measuring the minimum number of inference rounds to infer the transition, and find that model generalization decreases sharply with proof depth. Increasing compositional path length T improves generalization. These results provide a formal way to investigate global understanding in language and world models and demonstrate that compositional training promotes information propagation and integration.
• Abstract（参考訳）: AIシステムは不安定で断片的だと感じられることが多い。 大きな言語モデル (LLM) は、ある概念を正しく説明するが、適用しないかもしれないし、ある文脈で安全命令に従うかもしれない。 この行動は、局所的な情報をグローバルな理解へと持ち上げるのに一般的な失敗を示唆している。 基本的な洞察を得るために、我々は「理解」を学習の制約として捉え、その結果を広める。 我々は,モノイド世界,行動遷移によって関連づけられた状態の集合,観察されたトレーニング遷移と目に見えない制約を共同で決定する学習タスクを構築する。 モデルが局所遷移から大域的制約を学習し、その結果を伝達できるかどうかの一般化テストを測定する。 空間的・意味的構造に関連する逆、可換性、構成、周期性の制約について考察する。 注意、再帰、状態空間のアーキテクチャ全体にわたって、次世代のトレーニングはデータに適合するが、非自明な制約を伝達することができない。 入力から中間状態を隠蔽する合成訓練は, 逆, 可換性, 構成制約の96%の精度を達成し, 組込み環境下で訓練された世界モデルの幾何学的一般化, WikidataファインタリングLLMにおける関係的一般化に対応する改善をもたらす。 未知の事実を推測するとき、モデルはどれくらいの制約を伝播するだろうか? 保留遷移の証明深さdを定義し、最小の推論ラウンド数を測定して遷移を推定し、モデル一般化が証明深さとともに急激に減少することを示した。 構成経路長Tの増大は一般化を改善する。 これらの結果は,言語モデルと世界モデルにおけるグローバル理解の形式的方法を提供し,コンポジショントレーニングが情報伝達と統合を促進することを実証する。

関連論文リスト

• A Theoretical Analysis of Generalization Dynamics in Neural Networks under Gradient Descent with Weight Decay [32.27793372712302]
  重み劣化を伴う勾配降下(GD)による損失$ell2$でトレーニングされたニューラルネットワークのクラスについて検討した。 集団誤差をデータ誤差、最適化誤差、予測変動誤差に分解し、それらを分離して有界化する。 予測変動誤差に対しては,(局所)近似等質性を提案し,セルワイドおよび層ワイド境界を導出する。
  論文  参考訳（メタデータ） (2026-09-07T16:59:16Z)
• Sheaf-Based Federated Representation Learning [11.430396441085579]
  SFRL(Sheaf-based Federated Representation Learning) 我々は、局所モデルの勾配更新とエッジワイド制約マップの閉形式Procrustes更新を交互に行う、SFRL(Sheaf-FRL)と呼ばれる分散アルゴリズムを開発した。 応用として,セマンティックコミュニケーションの文脈における協調的な分類課題を考える。
  論文  参考訳（メタデータ） (2026-08-08T16:38:34Z)
• Generalization Capability for Imitation Learning [1.30536490219656]
  模倣学習は、専門家によるデモンストレーションから学ぶことで、多芸なスキルを持つロボットを装備するという約束を果たす。 しかしながら、有限データセットで訓練されたポリシーは、トレーニング分布を超えた一般化に苦慮することが多い。 本稿では、情報理論とデータ分散特性の両方を基礎とした模倣学習の一般化能力に関する統一的な視点を示す。
  論文  参考訳（メタデータ） (2025-04-25T17:59:59Z)
• Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
  本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
  論文  参考訳（メタデータ） (2024-03-25T03:18:39Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。