論文の概要: DreamStream: Towards Policy-Oriented Generative Simulation for End-to-End Driving

• arxiv url: http://arxiv.org/abs/2609.26792v1
• Date: Tue, 22 Sep 2026 17:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.781372
• Title: DreamStream: Towards Policy-Oriented Generative Simulation for End-to-End Driving
• Title（参考訳）: DreamStream: エンドツーエンド運転のためのポリシー指向生成シミュレーションを目指して
• Abstract要約: DreamStream(ドリームストリーム)は、自動回帰ビデオモデルを用いて、ポリシー指向の忠実性を実現する生成クローズドループシミュレータである。 FD$は、公開E2Eポリシーからのシーンコンテキスト特徴に対するフレシェ距離として、sim-to-realギャップを測定する新しいマルチ表現指標である。 DreamStreamは、最強のクローズドループシミュレータをnuScenesで1.6times$、NAVSIMで4.7times$で改善している。
• 参考スコア（独自算出の注目度）: 31.24238662076367
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Faithfully evaluating end-to-end driving policies in simulation requires observations that are not merely photo-realistic, but preserve the scene features a policy relies on to make decisions. Existing platforms, however, exhibit a sim-to-real visual gap that corrupts policy perception, undermining their ability to assess a policy's closed-loop decision-making. To this end, we propose DreamStream, a generative, closed-loop simulator that achieves policy-oriented fidelity using a simulator-grounded autoregressive video model. Our video model is distilled from a large pretrained video model via traffic layout guidance, varying visual appearance while preserving policy-relevant features such as scenario layout and the temporal consistency of dynamic objects. We further observe that perceptual metrics like FID misrank how well these features are preserved. To tackle this, we introduce FD$π$, a new multi-representation metric that measures the sim-to-real gap as the Fréchet distance over scene-context features from public E2E policies. Under FD$π$, DreamStream improves over the strongest prior closed-loop simulator by $1.6\times$ on nuScenes and $4.7\times$ on NAVSIM, and induces the least perturbation to policy's perceptual observability. Based on DreamStream, we construct Navhard-CL benchmark, which turns non-reactive real-world benchmark NAVSIM into interactive testing environments with adversarial driving behaviors and weather variations. This benchmark exposes many failure modes of driving policies, such as scorer bias and lack of recovery behaviors, that prior closed-loop benchmarks overlook. Code and data are available at https://github.com/VAIL-UCLA/DreamStream.
• Abstract（参考訳）: シミュレーションでエンドツーエンドの運転ポリシーを忠実に評価するには、単に写真リアリスティックではなく、ポリシーが意思決定に頼っている場面の特徴を保存することが必要である。 しかし、既存のプラットフォームは、政策の認識を損なうような、擬似から現実的な視覚的なギャップを示しており、政策のクローズドループ決定を判断する能力を損なう。 そこで本研究では,提案するDreamStreamを提案する。DreamStreamは,自動回帰ビデオモデルを用いて,ポリシー指向の忠実度を実現する生成クローズドループシミュレータである。 提案手法は,シナリオレイアウトや動的オブジェクトの時間的整合性といったポリシーに関連のある特徴を保ちながら,トラフィックレイアウトの誘導,視覚的外観の変化を通じて,事前訓練された大規模なビデオモデルから抽出する。 さらに、FIDのような知覚的指標が、これらの特徴がどれだけ保存されているかを誤っていることも観察する。 これを解決するために、FD$π$は、公開E2Eポリシーからのシーンコンテキスト特徴に対するフレシェ距離としてsim-to-realギャップを測定する新しいマルチ表現指標である。 FD$π$の下では、DreamStreamは最強のクローズドループシミュレータをnuScenesで$1.6\times$、NAVSIMで$4.7\times$で改善し、ポリシーの知覚的可観測性に対する最小の摂動を誘導する。 そこで,DreamStreamをベースとしたNavhard-CLベンチマークを構築し,Navhard-CLベンチマークを構築した。 このベンチマークは、スコアのバイアスやリカバリ動作の欠如など、以前のクローズドループベンチマークが見落としているような、運転ポリシーの多くの障害モードを公開する。 コードとデータはhttps://github.com/VAIL-UCLA/DreamStream.comで公開されている。

関連論文リスト

• Robust Control under Stationary Ambiguity [5.394466899760558]
  シミュレーションに最適化された制御ポリシーは、シミュレータのパラメータが限られたデータから推定される場合、実システムではうまく機能しない。 システムの状態によってあいまいさが変化するが、時間とともに体系的に減衰しないシミュレータにおけるトレーニングポリシーを提案する。 このようなシミュレータの構築方法を示し,定常的あいまいさの下で訓練された政策が時間とともに潜伏要因に対する堅牢性を維持することを示す。
  論文  参考訳（メタデータ） (2026-08-05T13:34:00Z)
• Point as Skeleton: Accumulated Point Cloud Enhanced Autoregressive Generation for Closed-Loop Autonomous Driving Simulation [58.86413499077093]
  状態更新型自己回帰駆動ビデオ生成のための生成センサシミュレーションフレームワークであるSkeleton を textbfemphPoint として提案する。 閉ループロールアウトをサポートするために,リセット・アンド・ロール(Reset-and-Roll)を導入し,ローリング拡散推論をシミュレーションに適用する。 nuScenes と nuPlan の実験では、textitPoint as Skeleton がクローズドループロールアウト時の自動回帰生成品質を向上させることが示されている。
  論文  参考訳（メタデータ） (2026-07-07T17:20:51Z)
• NVIDIA OmniDreams: Real-Time Generative World Model for Closed-Loop Autonomous Vehicle Simulation [84.88799392695893]
  OmniDreamsは,コスモス拡散モデルからトレーニング後,行動条件付き動画をリアルタイムで自動生成する基礎的生成世界モデルである。 OmniDreamsは、コスモスの豊富な視覚的先行と21k時間の運転シナリオにおける中・後訓練を活用することで、複雑で観測されていない現象を合成する。 予備的な結果は、OmniDreamsからポストトレーニングされた世界アクションモデルが、Physical AI Autonomous Vehicles NuRecデータセット上で強力なパフォーマンスを達成していることを示している。
  論文  参考訳（メタデータ） (2026-06-02T05:11:05Z)
• Pseudo-Simulation for Autonomous Driving [66.1981253104508]
  既存の自動運転車(AV)の評価パラダイムは、重大な制限に直面している。 現実世界の評価は、安全上の懸念と現実主義の欠如のためにしばしば困難である。 オープンループ評価は、一般的に複合的なエラーを見落としているメトリクスに依存する。
  論文  参考訳（メタデータ） (2025-06-04T17:57:53Z)
• NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking [65.24988062003096]
  我々は,視覚に基づく運転ポリシーをベンチマークするフレームワークであるNAVSIMを提案する。 我々のシミュレーションは非反応性であり、評価された政策と環境は互いに影響を与えない。 NAVSIMはCVPR 2024で開催され、143チームが433のエントリーを提出し、いくつかの新たな洞察を得た。
  論文  参考訳（メタデータ） (2024-06-21T17:59:02Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。