論文の概要: Learning Local Causal World Models with State Space Models and Attention

• arxiv url: http://arxiv.org/abs/2505.02074v1
• Date: Sun, 04 May 2025 11:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.413519
• Title: Learning Local Causal World Models with State Space Models and Attention
• Title（参考訳）: 状態空間モデルと注意による局所因果世界モデル学習
• Authors: Francesco Petri, Luigi Asprino, Aldo Gangemi,
• Abstract要約: 本研究では,SSMが単純な環境のダイナミクスをモデル化し,因果モデルを同時に学習できることを示す。 我々は、SSMの強みに傾倒するさらなる実験の道を開き、因果意識でそれらをさらに強化する。
• 参考スコア（独自算出の注目度）: 1.5498250598583487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World modelling, i.e. building a representation of the rules that govern the world so as to predict its evolution, is an essential ability for any agent interacting with the physical world. Despite their impressive performance, many solutions fail to learn a causal representation of the environment they are trying to model, which would be necessary to gain a deep enough understanding of the world to perform complex tasks. With this work, we aim to broaden the research in the intersection of causality theory and neural world modelling by assessing the potential for causal discovery of the State Space Model (SSM) architecture, which has been shown to have several advantages over the widespread Transformer. We show empirically that, compared to an equivalent Transformer, a SSM can model the dynamics of a simple environment and learn a causal model at the same time with equivalent or better performance, thus paving the way for further experiments that lean into the strength of SSMs and further enhance them with causal awareness.
• Abstract（参考訳）: 世界モデリング、すなわち、その進化を予測するために世界を支配する規則の表現を構築することは、物理的世界と相互作用するあらゆるエージェントにとって必須の能力である。 優れたパフォーマンスにもかかわらず、多くのソリューションは、彼らがモデル化しようとしている環境の因果表現を学ばない。 本研究は,SSM (State Space Model) アーキテクチャの因果発見の可能性を評価することによって,因果理論とニューラルワールドモデリングの交叉の研究を拡大することを目的としている。 等価なトランスフォーマーと比較して、SSMは単純な環境のダイナミクスをモデル化し、等価またはより良い性能で因果モデルを同時に学習し、SSMの強みに傾き、因果意識を高めるためのさらなる実験の道を開くことを実証的に示す。

関連論文リスト

• AdaWorld: Learning Adaptable World Models with Latent Actions [76.50869178593733]
  我々は,効率的な適応を実現する革新的な世界モデル学習手法であるAdaWorldを提案する。 主要なアイデアは、世界モデルの事前トレーニング中にアクション情報を統合することである。 次に、これらの潜伏行動を条件とした自己回帰的世界モデルを開発する。
  論文  参考訳（メタデータ） (2025-03-24T17:58:15Z)
• Multimodal Dreaming: A Global Workspace Approach to World Model-Based Reinforcement Learning [2.5749046466046903]
  強化学習(Reinforcement Learning, RL)では、世界モデルはエージェントの行動に応じて環境がどのように進化するかを捉えることを目的としている。 潜在空間内での夢のプロセスの実行は、より少ない環境ステップでのトレーニングを可能にすることを示す。 我々は、GWとWorld Modelsの組み合わせは、RLエージェントの意思決定を改善する大きな可能性を秘めていると結論づける。
  論文  参考訳（メタデータ） (2025-02-28T15:24:17Z)
• Making Large Language Models into World Models with Precondition and Effect Knowledge [1.8561812622368763]
  本研究では,Large Language Models (LLM) を2つの重要な世界モデル関数の実行に利用することができることを示す。 我々は、我々のモデルが生み出す前提条件と効果知識が、世界力学の人間の理解と一致していることを検証する。
  論文  参考訳（メタデータ） (2024-09-18T19:28:04Z)
• Is Sora a World Simulator? A Comprehensive Survey on General World Models and Beyond [101.15395503285804]
  一般世界モデルは、人工知能(AGI)の実現への決定的な道のりを表現している 本調査では,世界モデルの最新動向を包括的に調査する。 我々は,世界モデルの課題と限界について検討し,今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-05-06T14:37:07Z)
• Learning World Models With Hierarchical Temporal Abstractions: A Probabilistic Perspective [2.61072980439312]
  内部世界モデルを開発するためのフォーマリズムの開発は、人工知能と機械学習の分野における重要な研究課題である。 この論文は、状態空間モデルを内部世界モデルとして広く用いられることによるいくつかの制限を識別する。 形式主義におけるモデルの構造は、信念の伝播を用いた正確な確率的推論を促進するとともに、時間を通してのバックプロパゲーションによるエンドツーエンドの学習を促進する。 これらの形式主義は、世界の状態における不確実性の概念を統合し、現実世界の性質をエミュレートし、その予測の信頼性を定量化する能力を向上させる。
  論文  参考訳（メタデータ） (2024-04-24T12:41:04Z)
• The Essential Role of Causality in Foundation World Models for Embodied AI [102.75402420915965]
  身体的なAIエージェントは、さまざまな現実世界環境で新しいタスクを実行する能力を必要とします。 現在の基礎モデルは物理的相互作用を正確にモデル化することができないため、Embodied AIには不十分である。 因果関係の研究は、検証世界モデルの構築に寄与する。
  論文  参考訳（メタデータ） (2024-02-06T17:15:33Z)
• HarmonyDream: Task Harmonization Inside World Models [93.07314830304193]
  モデルベース強化学習(MBRL)は、サンプル効率の学習を約束する。 本稿では,タスク調和性を維持するために損失係数を自動的に調整する,シンプルで効果的なアプローチであるHarmonyDreamを提案する。
  論文  参考訳（メタデータ） (2023-09-30T11:38:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。