論文の概要: Imagine-2-Drive: Leveraging High-Fidelity World Models via Multi-Modal Diffusion Policies

• arxiv url: http://arxiv.org/abs/2411.10171v2
• Date: Sun, 09 Mar 2025 18:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:39:55.980896
• Title: Imagine-2-Drive: Leveraging High-Fidelity World Models via Multi-Modal Diffusion Policies
• Title（参考訳）: imagine-2-Drive:マルチモーダル拡散法による高忠実度世界モデルの活用
• Authors: Anant Garg, K Madhava Krishna,
• Abstract要約: World Model-based Reinforcement Learning (WMRL)は、効率的な政策学習を可能にする。 マルチモーダル拡散型ポリシーアクタと高忠実度世界モデルを統合する新しいWMRLフレームワークであるImagine-2-Driveを提案する。 DiffDreamer内のDPAをトレーニングすることにより,オンラインインタラクションを最小限に抑えた堅牢なポリシー学習を実現する。
• 参考スコア（独自算出の注目度）: 9.639797094021988
• License:
• Abstract: World Model-based Reinforcement Learning (WMRL) enables sample efficient policy learning by reducing the need for online interactions which can potentially be costly and unsafe, especially for autonomous driving. However, existing world models often suffer from low prediction fidelity and compounding one-step errors, leading to policy degradation over long horizons. Additionally, traditional RL policies, often deterministic or single Gaussian-based, fail to capture the multi-modal nature of decision-making in complex driving scenarios. To address these challenges, we propose Imagine-2-Drive, a novel WMRL framework that integrates a high-fidelity world model with a multi-modal diffusion-based policy actor. It consists of two key components: DiffDreamer, a diffusion-based world model that generates future observations simultaneously, mitigating error accumulation, and DPA (Diffusion Policy Actor), a diffusion-based policy that models diverse and multi-modal trajectory distributions. By training DPA within DiffDreamer, our method enables robust policy learning with minimal online interactions. We evaluate our method in CARLA using standard driving benchmarks and demonstrate that it outperforms prior world model baselines, improving Route Completion and Success Rate by 15% and 20% respectively.
• Abstract（参考訳）: World Model-based Reinforcement Learning (WMRL)は、特に自動運転において、コストと安全性の低いオンラインインタラクションの必要性を減らすことで、効率的な政策学習を可能にする。 しかし、既存の世界モデルは予測精度が低く、一段階の誤りを複雑にしており、長い地平線上での政策の悪化につながっている。 さらに、従来のRLポリシーは、しばしば決定論的または単一ガウス的であり、複雑な運転シナリオにおける意思決定のマルチモーダルな性質を捉えていない。 これらの課題に対処するために,多モード拡散型ポリシーアクタと高忠実度世界モデルを統合する新しいWMRLフレームワークであるImagine-2-Driveを提案する。 DiffDreamerは、将来の観測を同時に生成する拡散ベースの世界モデルであり、誤り蓄積を緩和するDPA(Diffusion Policy Actor)と、多様かつ多様軌跡分布をモデル化する拡散ベースの政策である。 DiffDreamer内のDPAをトレーニングすることにより,オンラインインタラクションを最小限に抑えた堅牢なポリシー学習を実現する。 標準駆動ベンチマークを用いてCARLAにおける本手法の評価を行い、従来のモデルベースラインよりも優れ、ルート完了率と成功率をそれぞれ15%、成功率を20%向上させることを示した。

関連論文リスト

• End-to-End Predictive Planner for Autonomous Driving with Consistency Models [5.966385886363771]
  軌道予測と計画は、自動運転車が動的環境において安全かつ効率的に航行するための基本的な要素である。 伝統的に、これらのコンポーネントは、しばしば別々のモジュールとして扱われ、インタラクティブな計画を実行する能力を制限する。 単一の一貫性モデルで予測と計画を統合する,統一的でデータ駆動のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T00:26:01Z)
• DrivingGPT: Unifying Driving World Modeling and Planning with Multi-modal Autoregressive Transformers [61.92571851411509]
  我々は、インターリーブ画像とアクショントークンに基づくマルチモーダル駆動言語を導入し、共同世界モデリングと計画を学ぶためのDrivingGPTを開発した。 我々のDrivingGPTは、アクション条件付きビデオ生成とエンドツーエンドプランニングの両方において強力なパフォーマンスを示し、大規模なnuPlanとNAVSIMベンチマークにおいて強力なベースラインを達成しています。
  論文  参考訳（メタデータ） (2024-12-24T18:59:37Z)
• Planning with Adaptive World Models for Autonomous Driving [50.4439896514353]
  運動プランナー(MP)は複雑な都市環境における安全なナビゲーションに不可欠である。 最近リリースされたMPベンチマークであるnuPlanは、クローズドループシミュレーションロジックで現実世界の駆動ログを拡張することで、この制限に対処している。 本稿では,モデル予測制御(MPC)ベースのプランナであるAdaptiveDriverを提案する。
  論文  参考訳（メタデータ） (2024-06-15T18:53:45Z)
• World Models via Policy-Guided Trajectory Diffusion [21.89154719069519]
  既存の世界モデルは、次の状態を予測するために、ポリシーから次のアクションをサンプリングする、自己回帰的である。 本稿では, 自己回帰的でない新しい世界モデリング手法を提案する。
  論文  参考訳（メタデータ） (2023-12-13T21:46:09Z)
• Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving [56.381918362410175]
  Drive-WMは、既存のエンド・ツー・エンドの計画モデルと互換性のある世界初のドライビングワールドモデルである。 ドライビングシーンで高忠実度マルチビュー映像を生成する。
  論文  参考訳（メタデータ） (2023-11-29T18:59:47Z)
• COPlanner: Plan to Roll Out Conservatively but to Explore Optimistically for Model-Based RL [50.385005413810084]
  ダイナスタイルのモデルベース強化学習には、ポリシー学習と実環境探索のためのサンプルを生成するモデルロールアウトという2つのフェーズが含まれる。 $textttCOPlanner$は、不正確な学習された動的モデル問題に対処するモデルベースのメソッドのための計画駆動フレームワークである。
  論文  参考訳（メタデータ） (2023-10-11T06:10:07Z)
• Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization [60.73540999409032]
  表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。 また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-28T16:48:44Z)
• Divide-and-Conquer for Lane-Aware Diverse Trajectory Prediction [71.97877759413272]
  軌道予測は、自動運転車が行動を計画し実行するための安全クリティカルなツールです。 近年の手法は,WTAやベスト・オブ・マニーといったマルチコース学習の目標を用いて,強力なパフォーマンスを実現している。 我々の研究は、軌道予測、学習出力、そして運転知識を使って制約を課すことによるより良い予測における2つの重要な課題に対処する。
  論文  参考訳（メタデータ） (2021-04-16T17:58:56Z)
• Diverse and Admissible Trajectory Forecasting through Multimodal Context Understanding [46.52703817997932]
  自律走行におけるマルチエージェント軌道予測には、周囲の車両や歩行者の挙動を正確に予測するエージェントが必要である。 マルチモーダル世界から複数の入力信号を合成するモデルを提案する。 従来の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-03-06T13:59:39Z)
• Integrating Deep Reinforcement Learning with Model-based Path Planners for Automated Driving [0.0]
  本稿では、経路計画管を視覚ベースのDRLフレームワークに統合するためのハイブリッドアプローチを提案する。 要約すると、DRLエージェントは、パスプランナーのウェイポイントをできるだけ近くに追従するように訓練される。 実験の結果,提案手法は経路を計画し,ランダムに選択した起点-終点間を移動可能であることがわかった。
  論文  参考訳（メタデータ） (2020-02-02T17:10:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。