論文の概要: Context and Diversity Matter: The Emergence of In-Context Learning in World Models

• arxiv url: http://arxiv.org/abs/2509.22353v1
• Date: Fri, 26 Sep 2025 13:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.466724
• Title: Context and Diversity Matter: The Emergence of In-Context Learning in World Models
• Title（参考訳）: 文脈と多様性--世界モデルにおける文脈学習の創発
• Authors: Fan Wang, Zhiyuan Chen, Yuxuan Zhong, Sunjian Zheng, Pengtao Shao, Bo Yu, Shaoshan Liu, Jianan Wang, Ning Ding, Yang Cao, Yu Kang,
• Abstract要約: 本研究では,文脈内環境学習(ICEL)について検討し,ゼロショット性能から世界モデルの成長と限界へ注目を移す。 我々は,(1)世界モデルの文脈内学習を形式化し,環境認識と環境学習という2つの中核的なメカニズムを同定し,(2)そのメカニズムの出現を露呈する2つのメカニズムのエラー上限を導出する,(3)世界モデルに異なるICL機構が存在することを実証的に確認する,という3つの貢献である。
• 参考スコア（独自算出の注目度）: 29.11472920301122
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The capability of predicting environmental dynamics underpins both biological neural systems and general embodied AI in adapting to their surroundings. Yet prevailing approaches rest on static world models that falter when confronted with novel or rare configurations. We investigate in-context environment learning (ICEL), shifting attention from zero-shot performance to the growth and asymptotic limits of the world model. Our contributions are three-fold: (1) we formalize in-context learning of a world model and identify two core mechanisms: environment recognition and environment learning; (2) we derive error upper-bounds for both mechanisms that expose how the mechanisms emerge; and (3) we empirically confirm that distinct ICL mechanisms exist in the world model, and we further investigate how data distribution and model architecture affect ICL in a manner consistent with theory. These findings demonstrate the potential of self-adapting world models and highlight the key factors behind the emergence of ICEL, most notably the necessity of long context and diverse environments.
• Abstract（参考訳）: 環境力学を予測する能力は、環境に適応するための生物学的神経システムと一般的なAIの両方を支える。 しかし、一般的なアプローチは、新しい構成や稀な構成に直面すると混乱する静的な世界モデルに依存します。 本研究では, 文脈内環境学習(ICEL)について検討し, ゼロショット性能から世界モデルの成長と漸近的限界へ注目を移す。 我々は,(1)世界モデルの文脈内学習を形式化し,環境認識と環境学習という2つの中核的なメカニズムを同定し,(2)そのメカニズムの出現方法を明らかにするメカニズムのエラー上限を導出し,(3)世界モデルに異なるICLメカニズムが存在することを実証的に確認し,さらにデータ分布とモデルアーキテクチャが,理論と整合した方法でICLにどう影響するかを考察する。 これらの知見は, 自己適応型世界モデルの可能性を示し, ICELの出現の背景にある重要な要因を浮き彫りにしている。

関連論文リスト

• Modeling Open-World Cognition as On-Demand Synthesis of Probabilistic Models [93.1043186636177]
  我々は、人々が分散表現と象徴表現の組み合わせを使って、新しい状況に合わせた見知らぬ精神モデルを構築するという仮説を探求する。 モデル合成アーキテクチャ」という概念の計算的実装を提案する。 我々は、新しい推論データセットに基づく人間の判断のモデルとして、MSAを評価した。
  論文  参考訳（メタデータ） (2025-07-16T18:01:03Z)
• Learning Local Causal World Models with State Space Models and Attention [1.5498250598583487]
  本研究では,SSMが単純な環境のダイナミクスをモデル化し,因果モデルを同時に学習できることを示す。 我々は、SSMの強みに傾倒するさらなる実験の道を開き、因果意識でそれらをさらに強化する。
  論文  参考訳（メタデータ） (2025-05-04T11:57:02Z)
• A Survey of World Models for Autonomous Driving [55.520179689933904]
  自律運転の最近の進歩は、堅牢な世界モデリングの進歩によって推進されている。 世界モデルは、マルチセンサーデータ、セマンティックキュー、時間ダイナミクスを統合する駆動環境の高忠実度表現を提供する。 今後の研究は、自己指導型表現学習、マルチモーダル融合、高度なシミュレーションにおける重要な課題に対処する必要がある。
  論文  参考訳（メタデータ） (2025-01-20T04:00:02Z)
• SPARTAN: A Sparse Transformer Learning Local Causation [63.29645501232935]
  因果構造は、環境の変化に柔軟に適応する世界モデルにおいて中心的な役割を果たす。 本研究では,SPARse TrANsformer World Model(SPARTAN)を提案する。 オブジェクト指向トークン間の注意パターンに空間規則を適用することで、SPARTANは、将来のオブジェクト状態を正確に予測するスパース局所因果モデルを特定する。
  論文  参考訳（メタデータ） (2024-11-11T11:42:48Z)
• Making Large Language Models into World Models with Precondition and Effect Knowledge [1.8561812622368763]
  本研究では,Large Language Models (LLM) を2つの重要な世界モデル関数の実行に利用することができることを示す。 我々は、我々のモデルが生み出す前提条件と効果知識が、世界力学の人間の理解と一致していることを検証する。
  論文  参考訳（メタデータ） (2024-09-18T19:28:04Z)
• Learning World Models With Hierarchical Temporal Abstractions: A Probabilistic Perspective [2.61072980439312]
  内部世界モデルを開発するためのフォーマリズムの開発は、人工知能と機械学習の分野における重要な研究課題である。 この論文は、状態空間モデルを内部世界モデルとして広く用いられることによるいくつかの制限を識別する。 形式主義におけるモデルの構造は、信念の伝播を用いた正確な確率的推論を促進するとともに、時間を通してのバックプロパゲーションによるエンドツーエンドの学習を促進する。 これらの形式主義は、世界の状態における不確実性の概念を統合し、現実世界の性質をエミュレートし、その予測の信頼性を定量化する能力を向上させる。
  論文  参考訳（メタデータ） (2024-04-24T12:41:04Z)
• Compete and Compose: Learning Independent Mechanisms for Modular World Models [57.94106862271727]
  異なる環境における再利用可能な独立したメカニズムを活用するモジュール型世界モデルであるCOMETを提案する。 COMETは、コンペティションとコンポジションという2段階のプロセスを通じて、動的に変化する複数の環境でトレーニングされている。 COMETは,従来のファインタニング手法に比べて,サンプル効率が向上し,多様なオブジェクト数で新しい環境に適応できることを示す。
  論文  参考訳（メタデータ） (2024-04-23T15:03:37Z)
• A Theoretical Analysis of Self-Supervised Learning for Vision Transformers [66.08606211686339]
  マスク付きオートエンコーダ(MAE)とコントラスト学習(CL)は異なる種類の表現をキャプチャする。 我々は,MAEとCLの両目的に対して,一層ソフトマックス型視覚変換器(ViT)のトレーニングダイナミクスについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T17:24:03Z)
• LEADS: Learning Dynamical Systems that Generalize Across Environments [12.024388048406587]
  我々は、モデル一般化を改善するために、既知の環境間の共通点と相違点を活用する新しいフレームワークであるLEADSを提案する。 環境に依存したデータから抽出した知識を活用でき、既知の環境と新しい環境の両方の一般化を向上できることを示す。
  論文  参考訳（メタデータ） (2021-06-08T17:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。