論文の概要: AdaWorld: Learning Adaptable World Models with Latent Actions

• arxiv url: http://arxiv.org/abs/2503.18938v1
• Date: Mon, 24 Mar 2025 17:58:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 16:32:17.41815
• Title: AdaWorld: Learning Adaptable World Models with Latent Actions
• Title（参考訳）: AdaWorld: 遅延アクションによる適応可能な世界モデル学習
• Authors: Shenyuan Gao, Siyuan Zhou, Yilun Du, Jun Zhang, Chuang Gan,
• Abstract要約: 我々は,効率的な適応を実現する革新的な世界モデル学習手法であるAdaWorldを提案する。 主要なアイデアは、世界モデルの事前トレーニング中にアクション情報を統合することである。 次に、これらの潜伏行動を条件とした自己回帰的世界モデルを開発する。
• 参考スコア（独自算出の注目度）: 76.50869178593733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World models aim to learn action-controlled prediction models and have proven essential for the development of intelligent agents. However, most existing world models rely heavily on substantial action-labeled data and costly training, making it challenging to adapt to novel environments with heterogeneous actions through limited interactions. This limitation can hinder their applicability across broader domains. To overcome this challenge, we propose AdaWorld, an innovative world model learning approach that enables efficient adaptation. The key idea is to incorporate action information during the pretraining of world models. This is achieved by extracting latent actions from videos in a self-supervised manner, capturing the most critical transitions between frames. We then develop an autoregressive world model that conditions on these latent actions. This learning paradigm enables highly adaptable world models, facilitating efficient transfer and learning of new actions even with limited interactions and finetuning. Our comprehensive experiments across multiple environments demonstrate that AdaWorld achieves superior performance in both simulation quality and visual planning.
• Abstract（参考訳）: 世界モデルは行動制御予測モデルを学習することを目的としており、知的エージェントの開発に不可欠であることが証明されている。 しかしながら、既存のほとんどのモデルは、アクションラベル付きデータとコストのかかるトレーニングに大きく依存しているため、限られた相互作用を通じて異質なアクションを持つ新しい環境に適応することは困難である。 この制限は、広範囲にわたる適用性を妨げかねない。 この課題を克服するために、効率的な適応を可能にする革新的な世界モデル学習アプローチであるAdaWorldを提案する。 主要なアイデアは、世界モデルの事前トレーニング中にアクション情報を組み込むことである。 これは、ビデオから遅延アクションを自己監督的に抽出し、フレーム間の最も重要な遷移をキャプチャすることで達成される。 次に、これらの潜伏行動を条件とした自己回帰的世界モデルを開発する。 この学習パラダイムは、高度に適応可能な世界モデルを可能にし、限られた相互作用や微調整であっても、新しいアクションの効率的な伝達と学習を容易にする。 複数の環境にまたがる包括的な実験により、AdaWorldはシミュレーション品質と視覚計画の両方において優れた性能を達成できることを示した。

関連論文リスト

• Inter-environmental world modeling for continuous and compositional dynamics [7.01176359680407]
  環境全体にわたってシミュレートする継続的潜在アクション表現を学習する、教師なしのフレームワークであるLie Actionを紹介した。 WLAはビデオフレームのみを用いてトレーニングが可能であり、アクションラベルが最小でも無ければ、新しいアクションセットを持つ新しい環境に迅速に適応できることを実証する。
  論文  参考訳（メタデータ） (2025-03-13T00:02:54Z)
• Disentangled World Models: Learning to Transfer Semantic Knowledge from Distracting Videos for Reinforcement Learning [93.58897637077001]
  本稿では,オフラインからオンラインまでの潜水蒸留とフレキシブルなゆがみ制約を通したビデオから,セマンティックな違いを学習し,理解することを試みる。 動作自由なビデオ予測モデルを非干渉正規化によりオフラインでトレーニングし、注意をそらすビデオから意味的知識を抽出する。 オンライン環境での微調整には、事前学習されたモデルからの知識を活用し、世界モデルに絡み合った制約を導入する。
  論文  参考訳（メタデータ） (2025-03-11T13:50:22Z)
• Multimodal Dreaming: A Global Workspace Approach to World Model-Based Reinforcement Learning [2.5749046466046903]
  強化学習(Reinforcement Learning, RL)では、世界モデルはエージェントの行動に応じて環境がどのように進化するかを捉えることを目的としている。 潜在空間内での夢のプロセスの実行は、より少ない環境ステップでのトレーニングを可能にすることを示す。 我々は、GWとWorld Modelsの組み合わせは、RLエージェントの意思決定を改善する大きな可能性を秘めていると結論づける。
  論文  参考訳（メタデータ） (2025-02-28T15:24:17Z)
• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics [50.191655141020505]
  この研究は、長期水平予測、エラー蓄積、およびsim-to-real転送の課題に対処することで、モデルに基づく強化学習を前進させる。 スケーラブルでロバストなフレームワークを提供することで、現実のアプリケーションにおいて適応的で効率的なロボットシステムを実現することができる。
  論文  参考訳（メタデータ） (2025-01-17T10:39:09Z)
• Learning World Models for Unconstrained Goal Navigation [4.549550797148707]
  本研究では,世界モデル学習のための目標指向探索アルゴリズムであるMUNを紹介する。 MUNは、リプレイバッファ内の任意のサブゴール状態間の状態遷移をモデル化することができる。 その結果、MUNは世界モデルの信頼性を高め、政策の一般化能力を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-11-03T01:35:06Z)
• DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model [65.43473733967038]
  私たちは、複雑な駆動ダイナミクスを備えたインタラクティブな世界モデルのトレーニング用に作られた最初のデータセットであるDrivingDojoを紹介します。 私たちのデータセットには、完全な運転操作、多様なマルチエージェント・インタープレイ、豊富なオープンワールド運転知識を備えたビデオクリップが含まれています。
  論文  参考訳（メタデータ） (2024-10-14T17:19:23Z)
• Making Large Language Models into World Models with Precondition and Effect Knowledge [1.8561812622368763]
  本研究では,Large Language Models (LLM) を2つの重要な世界モデル関数の実行に利用することができることを示す。 我々は、我々のモデルが生み出す前提条件と効果知識が、世界力学の人間の理解と一致していることを検証する。
  論文  参考訳（メタデータ） (2024-09-18T19:28:04Z)
• iVideoGPT: Interactive VideoGPTs are Scalable World Models [70.02290687442624]
  世界モデルは、現実の意思決定のために想像された環境の中で、モデルベースのエージェントを対話的に探索し、推論し、計画することを可能にする。 マルチモーダルな信号 – 視覚的観察,アクション,報酬 – を統合した,スケーラブルな自己回帰型トランスフォーマーフレームワークであるInteractive VideoGPTを導入する。 iVideoGPTは、高次元の視覚的観察を効率的に識別する新しい圧縮トークン化技術を備えている。
  論文  参考訳（メタデータ） (2024-05-24T05:29:12Z)
• Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning [54.67880602409801]
  本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。 本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。 実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-05-29T14:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。