論文の概要: SimWAM: A Simple World Action Model for End-to-End Autonomous Driving
- arxiv url: http://arxiv.org/abs/2608.07468v1
- Date: Fri, 07 Aug 2026 17:59:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.596468
- Title: SimWAM: A Simple World Action Model for End-to-End Autonomous Driving
- Title（参考訳）: SimWAM: エンドツーエンド自動運転のための簡易世界行動モデル
- Abstract要約: 我々は、ビデオ生成をトレーニング信号として純粋に利用するシンプルで効果的なWAMであるSimWAMを提案する。
孤立した注意マスクは、将来のフレームとは独立してアクション予測を保持し、トレーニング後にビデオブランチを破棄することができる。
我々のSimWAMは、NAVSIM上で91.5ドルのPDMSを達成し、最先端のWAMベースのプランナをはるかに低レイテンシで超越し、ゼロショットをnuScenesに転送する。
- 参考スコア（独自算出の注目度）: 66.93548079427477
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World-Action Models (WAMs) improve end-to-end autonomous driving by transferring video dynamics priors to action prediction, but existing methods require costly future generation at inference. We present SimWAM, a simple yet effective WAM that uses video generation purely as a training signal. It co-trains a pretrained video expert and a lightweight action expert with joint flow matching. An isolated attention mask keeps action prediction independent of future frames, allowing the video branch to be discarded after training and leaving a self-contained planner that directly predicts trajectories. Since the two experts share no parameters and interact only through a unified attention interface, the video backbone could be replaced and the action expert scaled independently without modifying the learning objective or inference pipeline. We further apply reinforcement learning to optimize a compositional driving reward beyond trajectory imitation. Our SimWAM achieves $91.5$ PDMS on NAVSIM, surpasses state-of-the-art WAM-based planners with substantially lower latency, and transfers zero-shot to nuScenes. These results position SimWAM as a simple yet solid baseline that could readily benefit from advances in video generation for efficient autonomous driving. The code and model weights are available at https://github.com/H-EmbodVis/SimWAM/
- Abstract（参考訳）: World-Action Models (WAM) は、アクション予測に先立ってビデオダイナミクスを転送することで、エンドツーエンドの自動運転を改善するが、既存の手法では推論時にコストがかかる。
我々は、ビデオ生成をトレーニング信号として純粋に利用するシンプルで効果的なWAMであるSimWAMを提案する。
訓練済みのビデオエキスパートと、ジョイントフローマッチングの軽量なアクションエキスパートを共同で訓練している。
分離されたアテンションマスクは、将来のフレームとは独立してアクション予測を保持し、トレーニング後にビデオブランチを破棄し、トラジェクトリを直接予測する自己完結型プランナーを残します。
2人の専門家はパラメータを共有せず、統一されたアテンションインターフェースを通じてのみ対話するので、ビデオバックボーンは置き換えられ、アクションエキスパートは学習目標や推論パイプラインを変更することなく、独立してスケールできる。
さらに,軌道模倣以上の構成駆動報酬を最適化するために強化学習を適用した。
我々のSimWAMは、NAVSIM上で91.5ドルのPDMSを達成し、最先端のWAMベースのプランナをはるかに低レイテンシで超越し、ゼロショットをnuScenesに転送する。
これらの結果は、SimWAMを、効率的な自動運転のためのビデオ生成の進歩の恩恵を受けやすい、シンプルだが安定したベースラインとして位置づけている。
コードとモデルの重み付けはhttps://github.com/H-EmbodVis/SimWAM/で確認できる。
関連論文リスト
- DeVA: Decoupled Video-Action Model with physical guidance for robot policy learning [28.673173377342593]
一般的なロボット操作は、言語命令を実行しながら視覚シーンがどのように進化するかを予測するポリシーを必要とする。
DeVAはDecoupled Video-Actionモデルであり、特殊ビデオとアクションの専門家、多レベル機能転送、物理的ガイダンスを備えている。
シミュレーションベンチマークと実世界のデプロイの両方の実験では、限られたデータによる強力なパフォーマンス、統一アーキテクチャよりも高速な収束、物理的ガイダンスによるパフォーマンス向上が示されている。
論文 参考訳（メタデータ） (2026-07-27T08:37:35Z) - UNIVERSE: Unified Video Action Models for Autonomous Driving with Flexible Mask-Modulated Modality Generation [23.675212404889805]
世界行動モデル(WAM)は、自律運転における行動一般化を改善する強力な可能性を示している。
既存のカスケードまたはデュアルDiTは、アクション予測からビデオイマジネーションを分離する。
マスク変調トランス上に構築された統合ビデオアクションモデルであるUNIVERSEを提案する。
論文 参考訳（メタデータ） (2026-07-06T14:18:18Z) - Metis: A Generalizable and Efficient World-Action Model for Autonomous Driving and Urban Navigation [80.18527639791074]
世界アクションモデルは、自動運転と都市ナビゲーションに非常に有望だ。
既存のアプローチには、重要な制限がある。
我々は,映像生成とアクション予測を分離するエンドツーエンドのWAMフレームワークであるMetisを提案する。
論文 参考訳（メタデータ） (2026-06-14T15:40:49Z) - CausalDrive: Real-time Causal World Models for Autonomous Driving [60.66609721457312]
制御可能でリアルタイムなファンデーション駆動の世界であるCausalDriveを紹介します。
CaulDriveは、最初のフロントビューフレーム、エゴ車両の軌道、マクロテキストプロンプトのみで動作する。
本稿では,(1)衝突アーティファクトを著しく緩和した生成的クローズループ評価,(2)ビデオ2Rewardモジュールによる大規模強化学習(RL)後トレーニング,(3)リアルタイムの人間-イン-ザ・ループシミュレーション,の3つのダウンストリームアプリケーションにおける汎用性を実証する。
論文 参考訳（メタデータ） (2026-06-13T15:04:44Z) - LMGenDrive: Bridging Multimodal Understanding and Generative World Modeling for End-to-End Driving [60.31765454895336]
本稿では、マルチモーダル理解と生成世界モデルを組み合わせた、エンドツーエンドのクローズドループ駆動のための最初のフレームワークLMGenDriveを紹介する。
本稿では,視覚前訓練から多段階長距離運転に至るまでの3段階訓練戦略を提案し,安定性と性能の向上を図る。
論文 参考訳（メタデータ） (2026-04-09T19:13:14Z) - TrackMAE: Video Representation Learning via Track Mask and Predict [53.79942817343784]
Masked Video Modeling (MVM)は、シンプルでスケーラブルな自己教師付き事前トレーニングパラダイムとして登場した。
動作情報を復元信号として明示的に利用するシンプルなマスク付きビデオモデリングパラダイムであるTrackMAEを提案する。
我々は、さまざまな下流設定の6つのデータセットを評価し、TrackMAEが最先端のビデオ自己教師型学習ベースラインを一貫して上回っていることを発見した。
論文 参考訳（メタデータ） (2026-03-28T13:35:23Z) - S-VAM: Shortcut Video-Action Model by Self-Distilling Geometric and Semantic Foresight [42.690473567612116]
ビデオアクションモデル(VAM)は、ロボット学習のための有望なパラダイムとして登場した。
S-VAMは、1つのフォワードパスを介してコヒーレントな幾何学的および意味的表現を予測できるショートカットビデオアクションモデルである。
論文 参考訳（メタデータ） (2026-03-17T07:21:28Z) - Learning to Drive is a Free Gift: Large-Scale Label-Free Autonomy Pretraining from Unposed In-The-Wild Videos [20.73513310337503]
オンラインで利用できるエゴ中心の運転ビデオは、自動運転のための豊富な視覚的データを提供する。
本研究では,未提示ビデオから直接自律運転表現を学習するための,ラベルのない教師誘導型フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-25T16:38:53Z) - MAD: Motion Appearance Decoupling for efficient Driving World Models [94.40548866741791]
本稿では,一般的な映像モデルを制御可能な運転世界モデルに変換する,効率的な適応フレームワークを提案する。
鍵となるアイデアは、外見合成からモーションラーニングを分離することである。
私たちのMAD-LTXモデルであるLTXへのスケーリングは、すべてのオープンソース競合より優れています。
論文 参考訳（メタデータ） (2026-01-14T12:52:23Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳（メタデータ） (2025-08-13T13:54:51Z) - VaViM and VaVAM: Autonomous Driving through Video Generative Modeling [88.33638585518226]
本稿では,オープンソースの自動回帰ビデオモデル(VaM)とそのビデオアクションモデル(VaVAM)を紹介する。
オープンループ運転とクローズドループ運転のシナリオでモデルを評価したところ、ビデオベースの事前学習が自律運転の可能性を秘めていることがわかった。
論文 参考訳（メタデータ） (2025-02-21T18:56:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。