論文の概要: Dreaming of Many Worlds: Learning Contextual World Models Aids Zero-Shot Generalization
- arxiv url: http://arxiv.org/abs/2403.10967v2
- Date: Sat, 3 Aug 2024 14:25:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 23:26:29.672520
- Title: Dreaming of Many Worlds: Learning Contextual World Models Aids Zero-Shot Generalization
- Title(参考訳): 多くの世界の夢:ゼロショットの一般化を支援する文脈的世界モデルを学ぶ
- Authors: Sai Prasanna, Karim Farid, Raghu Rajan, André Biedenkapp,
- Abstract要約: 本稿では,ゼロショット一般化(ZSG)によるエンボディシステムにおける非表示ダイナミクスの課題に対処する。
本研究では,Dreamerの世界モデルに変化をもたらす文脈的リカレント状態空間モデル(cRSSM)を提案する。
実験により,このような文脈の体系的な組み入れにより,世界モデルの「夢」に基づいて訓練された政策のZSGが向上することが示された。
- 参考スコア(独自算出の注目度): 4.93398395228038
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Zero-shot generalization (ZSG) to unseen dynamics is a major challenge for creating generally capable embodied agents. To address the broader challenge, we start with the simpler setting of contextual reinforcement learning (cRL), assuming observability of the context values that parameterize the variation in the system's dynamics, such as the mass or dimensions of a robot, without making further simplifying assumptions about the observability of the Markovian state. Toward the goal of ZSG to unseen variation in context, we propose the contextual recurrent state-space model (cRSSM), which introduces changes to the world model of Dreamer (v3) (Hafner et al., 2023). This allows the world model to incorporate context for inferring latent Markovian states from the observations and modeling the latent dynamics. Our approach is evaluated on two tasks from the CARL benchmark suite, which is tailored to study contextual RL. Our experiments show that such systematic incorporation of the context improves the ZSG of the policies trained on the "dreams" of the world model. We further find qualitatively that our approach allows Dreamer to disentangle the latent state from context, allowing it to extrapolate its dreams to the many worlds of unseen contexts. The code for all our experiments is available at https://github.com/sai-prasanna/dreaming_of_many_worlds.
- Abstract(参考訳): ゼロショット一般化(ZSG)は、一般に有能なエンボディエージェントを作成する上で大きな課題である。
より広い課題に対処するために、我々は、マルコフ状態の観測可能性に関する仮定をさらに単純化することなく、ロボットの質量や寸法などのシステムの力学の変動をパラメータ化する文脈値の可観測性を仮定する、文脈強化学習(cRL)の簡易な設定から始める。
本稿では,ZSGがコンテキストの変動を未確認にするという目標に向けて,Dreamer (v3) (Hafner et al , 2023) の世界モデルに変化をもたらす文脈的リカレント状態空間モデル (cRSSM) を提案する。
これにより、世界モデルは、潜在力学の観測とモデリングから潜在マルコフ状態を推論するための文脈を組み込むことができる。
提案手法は,文脈RLの研究に適したCARLベンチマークスイートの2つのタスクに対して評価される。
実験により,このような文脈の体系的な組み入れにより,世界モデルの「夢」に基づいて訓練された政策のZSGが向上することが示された。
さらに、我々のアプローチは、ドリーマーが潜在状態をコンテキストから切り離すことを可能にし、夢を目に見えないコンテキストの多くの世界への外挿を可能にすることを定性的に見出す。
実験のコードはhttps://github.com/sai-prasanna/dreaming_of_many_worlds.comで公開されている。
関連論文リスト
- Learning World Models for Unconstrained Goal Navigation [4.549550797148707]
本研究では,世界モデル学習のための目標指向探索アルゴリズムであるMUNを紹介する。
MUNは、リプレイバッファ内の任意のサブゴール状態間の状態遷移をモデル化することができる。
その結果、MUNは世界モデルの信頼性を高め、政策の一般化能力を大幅に改善することを示した。
論文 参考訳(メタデータ) (2024-11-03T01:35:06Z) - LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。
以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。
具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
論文 参考訳(メタデータ) (2024-06-24T03:36:29Z) - Is Sora a World Simulator? A Comprehensive Survey on General World Models and Beyond [101.15395503285804]
一般世界モデルは、人工知能(AGI)の実現への決定的な道のりを表現している
本調査では,世界モデルの最新動向を包括的に調査する。
我々は,世界モデルの課題と限界について検討し,今後の方向性について考察する。
論文 参考訳(メタデータ) (2024-05-06T14:37:07Z) - WorldGPT: Empowering LLM as Multimodal World Model [51.243464216500975]
MLLM(Multimodal Large Language Model)に基づく汎用世界モデルWorldGPTを紹介する。
WorldGPTは、さまざまなドメインにまたがる数百万のビデオを分析して、世界ダイナミクスの理解を得る。
マルチモーダル状態遷移予測ベンチマークWorldNetの評価を行う。
論文 参考訳(メタデータ) (2024-04-28T14:42:02Z) - Zero-shot Safety Prediction for Autonomous Robots with Foundation World Models [0.12499537119440243]
世界モデルは、コントローラを訓練し、システムの内部のダイナミックモデルを学ぶことによって安全違反を予測するために代理世界を作成する。
本稿では,観察を意味的かつ因果的に潜伏した表現に組み込む基礎世界モデルを提案する。
これにより、Surrogate dynamicsは、トレーニング不要な大規模言語モデルを活用することで、因果先状態を直接予測できる。
論文 参考訳(メタデータ) (2024-03-30T20:03:49Z) - Imagine the Unseen World: A Benchmark for Systematic Generalization in
Visual World Models [21.043565956630957]
本稿では,この問題を解決するために設計された最初のベンチマークである,SVIB(Systematic Visual Imagination Benchmark)を紹介する。
SVIBは、最小限の世界モデリング問題のための新しいフレームワークを提供する。このフレームワークでは、潜在世界力学の下でワンステップのイメージ・ツー・イメージ変換を生成する能力に基づいてモデルを評価する。
我々は,SVIBの様々なベースラインモデルについて総合評価を行い,系統的な視覚的想像力の現在の現状について考察する。
論文 参考訳(メタデータ) (2023-11-15T16:02:13Z) - Kosmos-2: Grounding Multimodal Large Language Models to the World [107.27280175398089]
マルチモーダル大言語モデル(MLLM)であるKosmos-2を紹介する。
オブジェクト記述(例えば、バウンディングボックス)の認識と、視覚の世界へのテキストの接地を可能にする。
コードと事前訓練されたモデルはhttps://aka.ms/kosmos-2.comで入手できる。
論文 参考訳(メタデータ) (2023-06-26T16:32:47Z) - Evolutionary Planning in Latent Space [7.863826008567604]
プランニングは、いくつかの望ましい特性を持つ強化学習の強力なアプローチである。
我々は、ラテントスペースにおける進化的計画を可能にする世界モデルを学ぶ。
ランダムなポリシーからのロールアウトでブートストラップし、より正確な計画ポリシーからのロールアウトで反復的に修正することで、世界のモデルを構築する方法を示します。
論文 参考訳(メタデータ) (2020-11-23T09:21:30Z) - Context-aware Dynamics Model for Generalization in Model-Based
Reinforcement Learning [124.9856253431878]
グローバルなダイナミクスモデルを学習するタスクを,(a)ローカルなダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し,(b)次に条件付き状態を予測するという2つの段階に分割する。
本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。
提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。
論文 参考訳(メタデータ) (2020-05-14T08:10:54Z) - Emergent Communication with World Models [80.55287578801008]
本稿では,自然言語メッセージを解釈する言語条件生成モデルのクラスであるLanguage World Modelsを紹介する。
我々は、この「観測」を永続記憶状態に組み込んで、リスニングエージェントのポリシーを条件付けします。
これにより、2次元グリッドワールド話者リスナーナビゲーションタスクにおける効果的なコミュニケーションとタスク成功が向上することを示す。
論文 参考訳(メタデータ) (2020-02-22T02:34:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。