論文の概要: NVIDIA OmniDreams: Real-Time Generative World Model for Closed-Loop Autonomous Vehicle Simulation

• arxiv url: http://arxiv.org/abs/2606.03159v1
• Date: Tue, 02 Jun 2026 05:11:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.769394
• Title: NVIDIA OmniDreams: Real-Time Generative World Model for Closed-Loop Autonomous Vehicle Simulation
• Title（参考訳）: NVIDIA OmniDreams: クローズドループ自動運転車シミュレーションのための実時間生成世界モデル
• Authors: NVIDIA, :, Aarti Basant, Amlan Kar, Despoina Paschalidou, Fangyin Wei, Francesco Ferroni, Guillermo Garcia Cobo, Haithem Turki, Huan Ling, Jaewoo Seo, James Lucas, Jay Zhangjie Wu, Jialiang Wang, Jonathan Lorraine, Jun Gao, Kai He, Katarina Tothova, Kevin Xie, Michał Tyszkiewicz, Qi Wu, Riccardo de Lutio, Ruilong Li, Sanja Fidler, Seung Wook Kim, Tianchang Shen, Tianshi Cao, Tobias Pfaff, William Lew, Xindi Wu, Xuanchi Ren, Yifan Lu, Yuxuan Zhang, Zan Gojcic, Zian Wang,
• Abstract要約: OmniDreamsは,コスモス拡散モデルからトレーニング後,行動条件付き動画をリアルタイムで自動生成する基礎的生成世界モデルである。 OmniDreamsは、コスモスの豊富な視覚的先行と21k時間の運転シナリオにおける中・後訓練を活用することで、複雑で観測されていない現象を合成する。 予備的な結果は、OmniDreamsからポストトレーニングされた世界アクションモデルが、Physical AI Autonomous Vehicles NuRecデータセット上で強力なパフォーマンスを達成していることを示している。
• 参考スコア（独自算出の注目度）: 84.88799392695893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As autonomous vehicle capabilities advance, the safe evaluation of driving policies in long-tail scenarios remains a critical bottleneck. In closed-loop simulation, the driving policy model actively interacts with the environment, where its actions dynamically update the simulator state and directly influence the next set of generated sensor observations. While recent reconstruction-based neural simulators offer photorealism, they are fundamentally constrained by their initial captured data and struggle to generalize to highly dynamic or novel scenes. To overcome these limitations, we introduce OmniDreams, a foundation generative world model mid- and post-trained from the Cosmos diffusion model to autoregressively generate action-conditioned videos in real time. By leveraging the rich visual priors of Cosmos and mid- and post-training on 21k hours of driving scenarios, OmniDreams synthesizes complex, unobserved phenomena that are hard for traditional simulators to capture, such as extreme weather and unpredictable dynamic agent behaviors. Crucially, it autoregressively conditions its photorealistic sensor generation on past frames, the current simulator state, and immediate driving actions. Deployed in a closed-loop system with the Alpamayo 1 policy model and AlpaSim orchestrator, OmniDreams acts as a highly responsive, reactive environment, providing a scalable and comprehensive solution for training and evaluating next-generation autonomous driving policies. We additionally show preliminary results indicating that a world-action model (WAM) post-trained from OmniDreams achieves strong performance on the Physical AI Autonomous Vehicles NuRec dataset, surpassing the VLA-based Alpamayo 1.5 research policy model while using only 1/5 the total parameters. These results highlight the potential for a real-time world model like OmniDreams to also serve as a backbone for policy architectures.
• Abstract（参考訳）: 自動運転車の能力が向上するにつれて、ロングテールシナリオにおける運転ポリシーの安全な評価は依然として重大なボトルネックとなっている。 クローズドループシミュレーションでは、駆動ポリシモデルが環境と活発に相互作用し、その動作がシミュレータ状態を動的に更新し、生成したセンサ観測の次のセットに直接影響する。 最近のリコンストラクションベースのニューラルシミュレータはフォトリアリズムを提供するが、これらは最初のキャプチャデータによって基本的に制約を受けており、非常にダイナミックなシーンや斬新なシーンに一般化するのに苦労している。 これらの制約を克服するために,コスモス拡散モデルから中・後訓練された基礎生成世界モデルであるOmniDreamsを導入し,リアルタイムに行動条件付き動画を自動生成する。 OmniDreamsは、コスモスの豊富な視覚的先行と21k時間の運転シナリオにおける中・後訓練を活用することで、極端な天候や予測不可能な動的エージェントの振る舞いなど、従来のシミュレーターが捉えるのが難しい複雑な、観測されていない現象を合成する。 重要なことに、過去のフレーム、現在のシミュレータ状態、即時駆動動作でフォトリアリスティックセンサーを自動で調整する。 Alpamayo 1ポリシモデルとAlpaSimオーケストレータを備えたクローズドループシステムにデプロイされたOmniDreamsは、応答性が高く、リアクティブな環境として機能し、次世代の自動運転ポリシをトレーニングし評価するためのスケーラブルで包括的なソリューションを提供する。 さらに,OmniDreams から得られた世界行動モデル (WAM) が,VLA ベースの Alpamayo 1.5 研究方針モデル を1/5 だけ使用しながら,物理AI 自律走行車 NuRec データセット上で高い性能を発揮することを示す予備的な結果を示す。 これらの結果は、OmniDreamsのようなリアルタイムの世界モデルがポリシーアーキテクチャのバックボーンとして機能する可能性を強調している。

関連論文リスト

• DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving [49.11389494068169]
  我々は、生成駆動世界モデルのための最初の総合的なベンチマークであるDrivingGenを提示する。 DrivingGenは、駆動データセットとインターネットスケールのビデオソースの両方から収集されたさまざまな評価データセットを組み合わせる。 一般的なモデルは良く見えるが物理を破るが、運転に特化したものは現実的に動きを捉えているが、視界の質は遅れている。
  論文  参考訳（メタデータ） (2026-01-04T13:36:21Z)
• SceneDiffuser++: City-Scale Traffic Simulation via a Generative World Model [30.561378506172698]
  SceneDiffuser++は、都市規模でA-to-Bシミュレーションを行うことができる単一損失関数に基づいて訓練された最初のエンドツーエンド生成世界モデルである。 本研究では,SceneDiffuser++の都市交通シミュレーション能力を実証し,その長大なシミュレーション条件下での優れたリアリズムについて検討する。
  論文  参考訳（メタデータ） (2025-06-27T07:35:04Z)
• DrivingSphere: Building a High-fidelity 4D World for Closed-loop Simulation [54.02069690134526]
  本研究では,現実的でクローズドループなシミュレーションフレームワークであるDrivingSphereを提案する。 その中核となる考え方は、4Dの世界表現を構築し、実生活と制御可能な運転シナリオを生成することである。 動的で現実的なシミュレーション環境を提供することで、DrivingSphereは自律運転アルゴリズムの包括的なテストと検証を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T03:00:33Z)
• OmniRe: Omni Urban Scene Reconstruction [78.99262488964423]
  OmniReはデバイス上でのログから動的現実シーンの高忠実なデジタルツインを作成するための総合システムである。 提案手法は3DGS上にシーングラフを構築し,様々な動的アクターをモデル化する標準空間内に複数のガウス表現を構築する。
  論文  参考訳（メタデータ） (2024-08-29T17:56:33Z)
• DriveArena: A Closed-loop Generative Simulation Platform for Autonomous Driving [30.024309081789053]
  DriveArenaは、実際のシナリオをナビゲートするエージェントを駆動するために設計された、高忠実なクローズドループシミュレーションシステムである。 グローバルなストリートマップ上で現実的なトラフィックフローを生成することのできる交通シミュレータであるTraffic Managerと、無限の自己回帰を持つ高忠実な条件生成モデルであるWorld Dreamerが特徴である。
  論文  参考訳（メタデータ） (2024-08-01T09:32:01Z)
• GAIA-1: A Generative World Model for Autonomous Driving [9.578453700755318]
  本稿では,現実的な運転シナリオを生成する生成的世界モデルであるGAIA-1(Generative AI for Autonomy)を紹介する。 我々のモデルからの創発的特性には、高レベルの構造やシーンダイナミクス、文脈認識、一般化、幾何学の理解などが含まれる。
  論文  参考訳（メタデータ） (2023-09-29T09:20:37Z)
• DriveDreamer: Towards Real-world-driven World Models for Autonomous Driving [76.24483706445298]
  実世界の運転シナリオから完全に派生した世界モデルであるDriveDreamerを紹介する。 最初の段階では、DriveDreamerは構造化されたトラフィックの制約を深く理解し、次の段階では将来の状態を予測できる。 DriveDreamerは、現実的で合理的な運転ポリシーの生成を可能にし、インタラクションと実用的なアプリケーションのための道を開く。
  論文  参考訳（メタデータ） (2023-09-18T13:58:42Z)
• VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and Policy Learning for Autonomous Vehicles [131.2240621036954]
  VISTAはオープンソースのデータ駆動シミュレータで、複数のタイプのセンサーを自律走行車に組み込む。 高忠実で実世界のデータセットを使用して、VISTAはRGBカメラ、3D LiDAR、イベントベースのカメラを表現し、シミュレートする。 センサタイプ毎に知覚制御ポリシーをトレーニングし,テストする能力を示し,フルスケールの自律走行車への展開を通じて,このアプローチのパワーを示す。
  論文  参考訳（メタデータ） (2021-11-23T18:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。