論文の概要: ForgeDrive: Bidirectional Cross-Conditioning for Unified Visual-Action Generation in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2606.31226v1
- Date: Tue, 30 Jun 2026 07:05:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.109192
- Title: ForgeDrive: Bidirectional Cross-Conditioning for Unified Visual-Action Generation in Autonomous Driving
- Title（参考訳）: ForgeDrive: 自律運転における統合視覚反応生成のための双方向クロスコンディショニング
- Abstract要約: 本稿では,ビジュアルアクション・クロスコンディショニングを備えた自動回帰拡散フレームワークForgeDriveを紹介する。
ForgeDriveは、運転シミュレーション、計画、視覚計測を単一のモデルに統合するだけでなく、訓練後の戦略を使わずに既存の強力なプランナーよりも優れています。
- 参考スコア（独自算出の注目度）: 12.68658021226119
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World-model-based autonomous driving endows the model with the ability to understand scene evolution. Yet this promise is undermined by the prevailing imagine-then-act paradigm, which allows errors from the more challenging visual generation stage to cascade into action planning. We introduce ForgeDrive, a unified autoregressive diffusion framework with visual-action cross-conditioning that closes this gap through act-then-imagine paradigm. ForgeDrive factorizes the future as a sequence of per-timestep frame-action pairs, intertwining each action with its corresponding visual observation. During training, we decouple the diffusion timesteps of the two modalities and introduce a UniDiffuser-style noise scheduler to get the ability to infer either modality from its counterpart and deepen understanding of relationships between images and actions. At inference, we propose a novel act-then-imagine inference paradigm, and find that at each step, action generation is a capability internalized during training, requiring no clean future frame as a prerequisite at inference time; instead, the generated action can improve the accuracy of future frame generation, which in turn enhances the quality of the next action. Additionally, we augment each step with future ego-status prediction, further sharpening planning ability. Extensive experiments on NAVSIM demonstrate that ForgeDrive not only unifies driving simulation, planning, and visual odometry into a single model, but also outperforms existing strong planners without any post-training strategy.
- Abstract（参考訳）: 世界モデルに基づく自律運転は、シーンの進化を理解する能力を備えたモデルを提供する。
しかし、この約束は、より困難な視覚生成ステージからカスケードまでエラーをアクションプランニングするイマジネーション・ザ・アクト・パラダイムによって損なわれます。
本稿では,アクト・テーマ・パラダイムを通じて,このギャップを埋めるビジュアル・アクション・クロスコンディショニングを備えた,統合された自己回帰拡散フレームワークであるForgeDriveを紹介する。
ForgeDriveは、時間ステップ毎のフレーム-アクションペアのシーケンスとして未来を分解し、それぞれのアクションを対応する視覚的観察と連動させる。
トレーニング中,2つのモードの拡散時間ステップを分離し,UniDiffuserスタイルのノイズスケジューラを導入し,画像と行動の関係を深く理解する。
推論の際には,新たな行動列推論パラダイムを提案し,各ステップにおいて,動作生成がトレーニング中に内部化される能力であり,推論時に前提条件としてクリーンな未来フレームを必要とせず,その代わりに生成された動作により,将来のフレーム生成の精度が向上し,次の動作の質が向上することを示す。
さらに,今後のego-status予測によって各ステップを拡大し,計画能力をさらに強化する。
NAVSIMの大規模な実験は、ForgeDriveが運転シミュレーション、計画、視覚計測を単一のモデルに統合するだけでなく、ポストトレーニング戦略を使わずに既存の強力なプランナーよりも優れていることを示している。
関連論文リスト
- Drive-HWM: Hierarchical World Models for Dynamic-Latent Guided Autonomous Driving [78.83165764484562]
Drive-HWMは階層的なスローファーストな世界モデリングフレームワークで、将来の表現予測とアクション生成を補完的な時間スケールで構成する。
次のフレーム予測では、高速モデルが差し迫ったシーンの進化を捉え、一方1ステップのアクション生成は、新しい観察が到着すると、決定を継続的に更新することを可能にする。
論文 参考訳（メタデータ） (2026-09-03T09:21:19Z) - WALL-SS: Scaling Long-horizon World Models via Next-Scale Autoregression [24.010807495676605]
生成的世界モデルは、相互作用の下で世界がどのように進化するかの予測モデルを提供する。
WALL-SSは,スケールワイドの自己回帰スケーリングによって視覚的未来を生成する世界モデルである。
We show that WALL-SS improves action following and trajectory accuracy, support coherent minute-long streaming rollout under bounded memory, and consistent benefit of on-policy alignment。
論文 参考訳（メタデータ） (2026-08-26T17:57:12Z) - X-Mind: Efficient Visual Chain-of-Thought via Predictive World Model for End-to-End Driving [40.275378373130245]
X-Mindは、前方に見える推論を自動運転ポリシーに組み込むフレームワークである。
アクションの前に世界展開を強制することにより、モデルはまず将来の進化を想像することを制約される。
X-Mindは、リソース制約のある車両プラットフォーム上での競合するエンドツーエンドの駆動性能を実現する。
論文 参考訳（メタデータ） (2026-06-27T06:17:50Z) - LVDrive: Latent Visual Representation Enhanced Vision-Language-Action Autonomous Driving Model [16.87741001074065]
VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転のための有望なフレームワークとして登場した。
近年、世界モデリングによる濃密な視覚監視を取り入れようとする試みは、しばしばピクセルレベルの画像再構成を過度に強調している。
自律運転のための遅延視覚表現拡張VLAフレームワークであるLVDriveを提案する。
論文 参考訳（メタデータ） (2026-05-21T07:31:49Z) - Bridging Scene Generation and Planning: Driving with World Model via Unifying Vision and Motion Representation [66.7879424097418]
We present WorldDrive, a holistic framework that couples scene generation and real-time planning through unified vision and motion representation。
動きの表現、視覚的表現、エゴ状態の間の単純な相互作用は、高品質でマルチモーダルな軌道を生成することができる。
NAVSIM、NAVSIM-v2、nuScenesベンチマークの実験は、WorldDriveが視覚のみの手法で主要な計画性能を達成することを示した。
論文 参考訳（メタデータ） (2026-03-16T07:59:39Z) - FutureX: Enhance End-to-End Autonomous Driving via Latent Chain-of-Thought World Model [103.2513470454204]
FutureXは、エンド・ツー・エンドのプランナを強化し、将来のシーンの遅延推論と軌道修正を通じて複雑な動作計画を実行するパイプラインである。
FutureXは、より合理的な運動計画と衝突を減らすことで、効率を損なうことなく既存の方法を強化する。
論文 参考訳（メタデータ） (2025-12-12T02:12:49Z) - Ego-centric Predictive Model Conditioned on Hand Trajectories [52.531681772560724]
自我中心のシナリオでは、次の行動とその視覚的結果の両方を予測することは、人間と物体の相互作用を理解するために不可欠である。
我々は,エゴセントリックなシナリオにおける行動と視覚的未来を共同でモデル化する,統合された2段階予測フレームワークを提案する。
我々のアプローチは、エゴセントリックな人間の活動理解とロボット操作の両方を扱うために設計された最初の統一モデルである。
論文 参考訳（メタデータ） (2025-08-27T13:09:55Z) - ViLaD: A Large Vision Language Diffusion Framework for End-to-End Autonomous Driving [14.486548540613791]
エンド・ツー・エンド・エンドの自動運転のための新しいLarge Vision Language DiffusionフレームワークであるViLaDを紹介する。
ViLaDは、駆動決定シーケンス全体の並列生成を可能にし、計算遅延を大幅に削減する。
我々はnuScenesデータセットの総合的な実験を行い、ViLaDは最先端の自己回帰的VLMベースラインを計画精度と推論速度の両方で上回ります。
論文 参考訳（メタデータ） (2025-08-18T04:01:56Z) - ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving [49.07731497951963]
ReCogDriveは、エンドツーエンドの自動運転のための新しい強化認知フレームワークである。
我々は、人間のドライバーのシーケンシャルな認知過程を模倣する階層的なデータパイプラインを導入する。
次に、VLMの学習した運転先を拡散プランナーに注入することで、言語行動ミスマッチに対処する。
論文 参考訳（メタデータ） (2025-06-09T03:14:04Z) - DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving [55.53171248839489]
我々は、エンドツーエンドの自動運転のためのエゴ中心の完全スパースパラダイムであるDiFSDを提案する。
特に、DiFSDは主にスパース知覚、階層的相互作用、反復的な運動プランナーから構成される。
nuScenesとBench2Driveデータセットで実施された実験は、DiFSDの優れた計画性能と優れた効率を実証している。
論文 参考訳（メタデータ） (2024-09-15T15:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。