論文の概要: 4D-WAM: 4D Consistent World Modeling for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2608.10107v1
- Date: Mon, 10 Aug 2026 18:14:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.784268
- Title: 4D-WAM: 4D Consistent World Modeling for Autonomous Driving
- Title（参考訳）: 4D-WAM:自律運転のための4次元連続世界モデリング
- Abstract要約: 本研究では,4次元一貫した世界モデリングを実現するために,幾何学的基礎モデルを利用したトレーニング時間監視モデルである4D-WAMを提案する。
WAMにおける早期決定現象を特定し、意思決定指向の時間ステップサンプリング戦略を提案する。
4D-WAMは、4D一貫したシーンの進化を効果的にモデル化し、挑戦的なNAVSIM-v1とNAVSIM-v2ベンチマークで最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 90.65021746144568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emerging World-Action Models (WAMs) have demonstrated promising performance in autonomous driving by jointly modeling future driving scene evolution and trajectory planning. However, existing WAMs are typically trained with video data, which is only 2D projections of the underlying 4D driving scene. Consequently, WAMs fail to understand and capture the structure of 4D scenes and thus generate visually plausible yet 4D inconsistent future predictions that mislead downstream planning. To alleviate this issue, we present 4D-WAM, a model that leverages geometric foundation models for training-time supervision to enable 4D consistent world modeling. Specifically, we feed WAM-predicted future frames into a geometric foundation model, and use 4D-aware responses to define a 4D consistency loss. This loss encourages the model to understand, represent, and predict physically consistent 4D scenes during training, without additional inference cost. Moreover, we identify an early-decision phenomenon in WAMs and propose a decision-oriented timestep sampling strategy that emphasizes supervision at early, high-noise stages, where driving decisions are primarily formed. By propagating 4D supervision to this critical decision-formation phase, the proposed strategy further improves trajectory planning. Extensive experiments demonstrate that 4D-WAM effectively models 4D consistent scene evolution and achieves state-of-the-art performance on challenging NAVSIM-v1 and NAVSIM-v2 benchmarks.
- Abstract（参考訳）: 新興世界行動モデル(WAM)は、将来の走行シーンの進化と軌道計画を共同でモデル化することで、自動運転における有望な性能を実証している。
しかし、既存のWAMはビデオデータで訓練されるのが一般的である。
その結果、WAMは4Dシーンの構造を理解して捉えることができず、それによって下流の計画を誤解させる視覚的に可視だが4Dの一貫性のない将来の予測を生成する。
この問題を軽減するため,4次元一貫した世界モデリングを実現するために,幾何学的基礎モデルを利用したトレーニング時間監視モデルである4D-WAMを提案する。
具体的には、WAM予測した将来のフレームを幾何学的基礎モデルに入力し、4D対応応答を用いて4D整合損失を定義する。
この損失は、追加の推論コストなしで、トレーニング中に物理的に一貫した4Dシーンを理解し、表現し、予測することをモデルに促します。
さらに,WAMにおける早期決定現象を同定し,運転決定を主目的とする早期・高騒音段階の監視を重視した意思決定型タイムステップサンプリング戦略を提案する。
この批判的な意思決定段階に4Dの監督を広めることにより、提案手法は軌道計画をさらに改善する。
大規模な実験により、4D-WAMは4D一貫したシーンの進化を効果的にモデル化し、NAVSIM-v1とNAVSIM-v2のベンチマークに挑戦して最先端のパフォーマンスを達成することが示された。
関連論文リスト
- 4D-WAM: Infusing Spatiotemporal Awareness into World Action Models through Trajectory Fields [35.86038928764989]
World Action Models (WAM) は、ビデオ予測とアクション生成を共同でモデル化する。
WAMは2Dピクセル空間でビデオを表現するのが一般的で、ロボットアクションが実行される3D空間との表現ギャップを生じる。
最近の3Dアプローチでは3D情報を導入しているが、3D構造のダイナミクスを完全に活用できない。
本研究では,WAMに3次元軌道場から知識を注入するモデルに依存しないトレーニング戦略である4D-WAMを提案する。
論文 参考訳（メタデータ） (2026-08-08T09:11:05Z) - Structured 4D Latent Predictive Model for Robot Planning [47.15864337571781]
本研究では,観察とテキストによる指示を条件とした構造付き潜時空間におけるシーンの3次元構造の進化を予測する構造的4次元潜時予測モデルを提案する。
我々の表現は、シーンを一様にエンコードし、多様な3Dフォーマットにデコードすることで、より完全で一貫したシーン理解を可能にします。
実験により、我々のモデルは、最先端のビデオベースプランナと比較して、強力な視覚的品質、かなり優れた3次元整合性、マルチビューコヒーレンスを持つ未来を生成することが示された。
論文 参考訳（メタデータ） (2026-07-01T16:52:49Z) - WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。
WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
論文 参考訳（メタデータ） (2026-06-12T02:49:34Z) - MVISTA-4D: View-Consistent 4D World Model with Test-Time Action Inference for Robotic Manipulation [27.70398018267795]
本研究は,幾何学的に一貫した任意のRGBD生成が可能な,新しい4次元世界モデルを提案する。
3つのデータセットの実験は、4Dシーン生成と下流操作の両方で強いパフォーマンスを示す。
論文 参考訳（メタデータ） (2026-02-10T15:19:17Z) - 4DRadar-GS: Self-Supervised Dynamic Driving Scene Reconstruction with 4D Radar [15.713470339586058]
動的駆動シーンに適した4次元レーダ拡張型自己教師型3次元再構成フレームワークを提案する。
4DRadar-GSは動的駆動シーン3次元再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2025-09-16T10:29:43Z) - TesserAct: Learning 4D Embodied World Models [66.8519958275311]
我々は、RGB-DN(RGB、Depth、Normal)ビデオのトレーニングにより、4Dワールドモデルを学ぶ。
これは従来の2次元モデルを超えるだけでなく、その予測に詳細な形状、構成、時間的変化を組み込むことで、エンボディエージェントの正確な逆動的モデルを効果的に学習することができる。
論文 参考訳（メタデータ） (2025-04-29T17:59:30Z) - Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。
我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。
結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
論文 参考訳（メタデータ） (2025-03-26T17:59:44Z) - Learning 4D Panoptic Scene Graph Generation from Rich 2D Visual Scene [122.42861221739123]
本稿では,リッチな2次元視覚シーンアノテーションを活用して4次元シーン学習を促進する4D-PSG生成のための新しいフレームワークについて検討する。
本研究では,2次元SGアノテーションから4次元シーンへ空間的時間的特徴を効果的に伝達する2次元から4次元の視覚的シーン伝達学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-19T09:16:08Z) - Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。
ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。
提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
論文 参考訳（メタデータ） (2024-05-26T17:47:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。