論文の概要: BrainWAM: Action-Space Coordination of Semantic Priors and Predictive Dynamics for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2608.12854v2
- Date: Wed, 19 Aug 2026 15:52:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 15:48:19.523587
- Title: BrainWAM: Action-Space Coordination of Semantic Priors and Predictive Dynamics for Autonomous Driving
- Title(参考訳): BrainWAM: セマンティックプライオリティの行動空間調整と自律運転の予測ダイナミクス
- Abstract要約: VLA(Vision-Language-Action)モデルはセマンティック推論のためにVLMの先行情報を利用するが、WAM(World Action Models)は生成的世界モデリングを通じて将来的な予測を提供する。
これは自然に、セマンティックプライドと予測ダイナミクスの両方を活用できる統一されたプランナーを動機付けます。
本稿では、意味論的推論と予測的世界モデリングを2つの特殊な行動指向経路に変換する、構造化された行動空間協調フレームワークBrainWAMを提案する。
- 参考スコア(独自算出の注目度): 17.81940828370337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous driving requires planning under both semantic constraints and predictive dynamics. Existing end-to-end driving approaches, however, typically emphasize only one side of this requirement: Vision-Language-Action (VLA) models exploit VLM priors for semantic reasoning, while World Action Models (WAMs) provide future-aware prediction through generative world modeling. This naturally motivates a unified planner that can leverage both semantic priors and predictive dynamics. However, we find that a naive combination through joint token-level attention suffers from an attention-allocation mismatch, where semantic shortcuts dominate the shared attention space and suppress predictive dynamics. Inspired by neuroscience evidence that complex behavior arises from coordination among functionally specialized systems, we propose BrainWAM, a structured action-space coordination framework that converts semantic reasoning and predictive world modeling into two specialized action-oriented pathways, and aligns them at the level of compact action representations. We further introduce an asynchronous rectified-flow inference strategy with decoupled video and action denoising, which shortens inference latency while preserving planning-relevant predictive context. BrainWAM reaches state-of-the-art performance on both NAVSIM v1 (89.5 PDMS) and NAVSIM v2 (89.6 EPDMS), consistently outperforming VLA-only or WAM-only methods, highlighting BrainWAM as a practical and promising direction for autonomous driving systems.
- Abstract(参考訳): 自律運転には、セマンティック制約と予測力学の両方の下での計画が必要である。
VLA(Vision-Language-Action)モデルは意味論的推論のためにVLMプリエンスを利用するが、WAM(World Action Models)は生成的世界モデリングを通じて将来的な予測を提供する。
これは自然に、セマンティックプライドと予測ダイナミクスの両方を活用できる統一されたプランナーを動機付けます。
しかし,共同トークン単位の注意を通したナイーブな組み合わせは,意味的ショートカットが共有注意空間を支配し,予測力学を抑えるような注意割当ミスマッチに悩まされることが判明した。
機能的特殊システム間の協調から複雑な行動が生じるという神経科学的な証拠に触発されて、意味論的推論と予測的世界モデリングを2つの特殊な行動指向の経路に変換し、それらをコンパクトな行動表現のレベルに整合させる構造化された行動空間協調フレームワークBrainWAMを提案する。
さらに,ビデオとアクションを分離した非同期整流推論戦略を導入し,計画関連予測コンテキストを保ちながら推論遅延を短縮する。
BrainWAM は NAVSIM v1 (89.5 PDMS) と NAVSIM v2 (89.6 EPDMS) の両方で最先端のパフォーマンスに達し、一貫して VLA のみまたは WAM のみの手法を上回り、自律運転システムの実用的で有望な方向としてBrainWAM を強調している。
関連論文リスト
- HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。
HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。
実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
論文 参考訳(メタデータ) (2026-05-11T17:59:56Z) - AutoMoT: A Unified Vision-Language-Action Model with Asynchronous Mixture-of-Transformers for End-to-End Autonomous Driving [36.82081211127408]
OURSは、単一の視覚言語アクション(VLA)モデルで推論とアクション生成を統合するエンドツーエンドのADフレームワークである。
OURSは最先端の手法と比較して競争性能が高いことを示す。
論文 参考訳(メタデータ) (2026-03-16T05:50:31Z) - SGDrive: Scene-to-Goal Hierarchical World Cognition for Autonomous Driving [52.02379432801349]
本稿では,運転特化知識階層に関するVLMの表現学習を構築する新しいフレームワークであるSGDriveを提案する。
トレーニング済みのVLMバックボーン上に構築されたSGDriveは、人間の運転認知を反映するシーンエージェントゴール階層に、駆動理解を分解する。
論文 参考訳(メタデータ) (2026-01-09T08:55:42Z) - ImagiDrive: A Unified Imagination-and-Planning Framework for Autonomous Driving [64.12414815634847]
ビジョン・ランゲージ・モデル(VLM)とドライビング・ワールド・モデル(DWM)は、この課題のさまざまな側面に対処する強力なレシピとして独立して登場した。
我々は、VLMベースの運転エージェントとDWMベースのシーン想像装置を統合した、新しいエンドツーエンドの自動運転フレームワークであるImagiDriveを提案する。
論文 参考訳(メタデータ) (2025-08-15T12:06:55Z) - ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving [49.07731497951963]
ReCogDriveは、エンドツーエンドの自動運転のための新しい強化認知フレームワークである。
我々は、人間のドライバーのシーケンシャルな認知過程を模倣する階層的なデータパイプラインを導入する。
次に、VLMの学習した運転先を拡散プランナーに注入することで、言語行動ミスマッチに対処する。
論文 参考訳(メタデータ) (2025-06-09T03:14:04Z) - HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action Model [54.64088247291416]
操作ポリシー設計の基本的な目的は、ロボットに人間の指示を理解し、シーンの手がかりを推論し、動的な環境で一般化されたアクションを実行することである。
近年の自己回帰的視覚言語行動(VLA)法は、視覚言語モデル(VLM)から常識推論能力を継承し、次の行動予測を行う。
拡散に基づく行動の連続的な性質と自己回帰の文脈的推論を吸収する統合フレームワークであるHybridVLAを紹介する。
論文 参考訳(メタデータ) (2025-03-13T17:59:52Z) - DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving [55.53171248839489]
我々は、エンドツーエンドの自動運転のためのエゴ中心の完全スパースパラダイムであるDiFSDを提案する。
特に、DiFSDは主にスパース知覚、階層的相互作用、反復的な運動プランナーから構成される。
nuScenesとBench2Driveデータセットで実施された実験は、DiFSDの優れた計画性能と優れた効率を実証している。
論文 参考訳(メタデータ) (2024-09-15T15:55:24Z) - PPAD: Iterative Interactions of Prediction and Planning for End-to-end Autonomous Driving [57.89801036693292]
PPAD(Iterative Interaction of Prediction and Planning Autonomous Driving)は、予測と計画のより良い統合を目的とした、タイムステップワイドなインタラクションである。
我々は,階層的動的キーオブジェクトに着目したego-to-agent,ego-to-map,ego-to-BEVインタラクション機構を設計し,インタラクションをモデル化する。
論文 参考訳(メタデータ) (2023-11-14T11:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。