論文の概要: Multimodal Dreaming: A Global Workspace Approach to World Model-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2502.21142v1
• Date: Fri, 28 Feb 2025 15:24:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:42:57.286494
• Title: Multimodal Dreaming: A Global Workspace Approach to World Model-Based Reinforcement Learning
• Title（参考訳）: マルチモーダルドリーム:世界モデルに基づく強化学習のためのグローバルワークスペースアプローチ
• Authors: Léopold Maytié, Roland Bertin Johannet, Rufin VanRullen,
• Abstract要約: 強化学習(Reinforcement Learning, RL)では、世界モデルはエージェントの行動に応じて環境がどのように進化するかを捉えることを目的としている。 潜在空間内での夢のプロセスの実行は、より少ない環境ステップでのトレーニングを可能にすることを示す。 我々は、GWとWorld Modelsの組み合わせは、RLエージェントの意思決定を改善する大きな可能性を秘めていると結論づける。
• 参考スコア（独自算出の注目度）: 2.5749046466046903
• License:
• Abstract: Humans leverage rich internal models of the world to reason about the future, imagine counterfactuals, and adapt flexibly to new situations. In Reinforcement Learning (RL), world models aim to capture how the environment evolves in response to the agent's actions, facilitating planning and generalization. However, typical world models directly operate on the environment variables (e.g. pixels, physical attributes), which can make their training slow and cumbersome; instead, it may be advantageous to rely on high-level latent dimensions that capture relevant multimodal variables. Global Workspace (GW) Theory offers a cognitive framework for multimodal integration and information broadcasting in the brain, and recent studies have begun to introduce efficient deep learning implementations of GW. Here, we evaluate the capabilities of an RL system combining GW with a world model. We compare our GW-Dreamer with various versions of the standard PPO and the original Dreamer algorithms. We show that performing the dreaming process (i.e., mental simulation) inside the GW latent space allows for training with fewer environment steps. As an additional emergent property, the resulting model (but not its comparison baselines) displays strong robustness to the absence of one of its observation modalities (images or simulation attributes). We conclude that the combination of GW with World Models holds great potential for improving decision-making in RL agents.
• Abstract（参考訳）: 人間は世界の豊かな内部モデルを利用して未来を推論し、反事実を想像し、新しい状況に柔軟に適応する。 強化学習(Reinforcement Learning, RL)において、世界モデルは、エージェントの行動に反応して環境がどのように進化するかを捉え、計画と一般化を促進することを目的としている。 しかし、典型的な世界モデルは環境変数(例えばピクセル、物理的属性)を直接操作することで、トレーニングを遅く、面倒なものにすることができる。 グローバルワークスペース(GW)理論は、脳内のマルチモーダル統合と情報放送のための認知フレームワークであり、近年の研究では、GWの効率的なディープラーニング実装の導入が始まっている。 本稿では,GWと世界モデルを組み合わせたRLシステムの性能評価を行う。 我々は、GW-Dreamerを標準PPOの様々なバージョンと元のDreamerアルゴリズムと比較する。 GW潜伏空間内での夢の過程(つまり精神シミュレーション)が、より少ない環境ステップでトレーニングできることを示す。 追加の創発的性質として、結果のモデル(ただし、その比較基準線ではない)は、その観測モダリティ(イメージまたはシミュレーション属性)の1つが欠如していることに対して強い堅牢性を示す。 我々は、GWとWorld Modelsの組み合わせは、RLエージェントの意思決定を改善する大きな可能性を秘めていると結論づける。

関連論文リスト

• One-shot World Models Using a Transformer Trained on a Synthetic Prior [37.027893127637036]
  ワンショット世界モデル(英: One-Shot World Model、OSWM)は、純粋に合成データからコンテキスト内学習形式で学習されるトランスフォーマー世界モデルである。 OSWMは、シンプルなグリッド世界のダイナミクスや、CartPoleのジム、カスタムコントロール環境に迅速に適応できる。
  論文  参考訳（メタデータ） (2024-09-21T09:39:32Z)
• Making Large Language Models into World Models with Precondition and Effect Knowledge [1.8561812622368763]
  本研究では,Large Language Models (LLM) を2つの重要な世界モデル関数の実行に利用することができることを示す。 我々は、我々のモデルが生み出す前提条件と効果知識が、世界力学の人間の理解と一致していることを検証する。
  論文  参考訳（メタデータ） (2024-09-18T19:28:04Z)
• Decentralized Transformers with Centralized Aggregation are Sample-Efficient Multi-Agent World Models [106.94827590977337]
  本稿では,分散化された局所力学を拡張性のために学習するマルチエージェントRL(MARL)の新たな世界モデルを提案する。 また、集中表現アグリゲーションを可能にする効果的なソリューションとしてPerceiver Transformerを導入する。 Starcraft Multi-Agent Challenge (SMAC) の結果は、サンプル効率と全体的な性能の両方において、強力なモデルフリーアプローチと既存のモデルベース手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-22T12:40:03Z)
• Hieros: Hierarchical Imagination on Structured State Space Sequence World Models [4.922995343278039]
  ヒエロス(Hieros)は、時間的抽象世界表現を学習し、潜在空間における複数の時間スケールでの軌跡を想像する階層的な政策である。 我々は,Atari 100kベンチマークにおいて,平均および中央値の正規化人間のスコアにおいて,この手法が技術状況より優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-08T13:52:40Z)
• HarmonyDream: Task Harmonization Inside World Models [93.07314830304193]
  モデルベース強化学習(MBRL)は、サンプル効率の学習を約束する。 本稿では,タスク調和性を維持するために損失係数を自動的に調整する,シンプルで効果的なアプローチであるHarmonyDreamを提案する。
  論文  参考訳（メタデータ） (2023-09-30T11:38:13Z)
• Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning [54.67880602409801]
  本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。 本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。 実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-05-29T14:29:12Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• Predictive World Models from Real-World Partial Observations [66.80340484148931]
  本研究では,現実の道路環境に対する確率論的予測世界モデル学習のためのフレームワークを提案する。 従来の手法では、学習のための基礎的真理として完全状態を必要とするが、HVAEが部分的に観察された状態のみから完全状態を予測することを学べる新しい逐次訓練法を提案する。
  論文  参考訳（メタデータ） (2023-01-12T02:07:26Z)
• Quantifying Multimodality in World Models [5.593667856320704]
  RLに基づく世界モデルにおけるマルチモーダル不確実性の検出と定量化のための新しい指標を提案する。 不確実な将来の状態の正しいモデリングと検出は、安全な方法で重要な状況を扱うための基盤となる。
  論文  参考訳（メタデータ） (2021-12-14T09:52:18Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。