論文の概要: Percept-WAM: Perception-Enhanced World-Awareness-Action Model for Robust End-to-End Autonomous Driving

• arxiv url: http://arxiv.org/abs/2511.19221v1
• Date: Mon, 24 Nov 2025 15:28:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.278962
• Title: Percept-WAM: Perception-Enhanced World-Awareness-Action Model for Robust End-to-End Autonomous Driving
• Title（参考訳）: Percept-WAM:ロバストエンド・ツー・エンド自律運転における知覚的世界認識-行動モデル
• Abstract要約: 本稿では,視覚言語モデル(VLM)に2D/3Dシーン理解能力を暗黙的に統合した知覚強調世界認識行動モデルPercept-WAMを紹介する。 我々は,高密度物体知覚のためのグリッド条件付き予測機構を提案し,IoU対応スコアリングと並列自己回帰デコードを導入し,長距離・遠距離・小対象シナリオの安定性を向上させる。 実験により、パーセプションWAMは下流の知覚ベンチマークで古典的な検出器やセグメンタと一致し、2D検出とBEV 3D検出で51.7/58.9 mAPを達成した。
• 参考スコア（独自算出の注目度）: 48.512353531499286
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Autonomous driving heavily relies on accurate and robust spatial perception. Many failures arise from inaccuracies and instability, especially in long-tail scenarios and complex interactions. However, current vision-language models are weak at spatial grounding and understanding, and VLA systems built on them therefore show limited perception and localization ability. To address these challenges, we introduce Percept-WAM, a perception-enhanced World-Awareness-Action Model that is the first to implicitly integrate 2D/3D scene understanding abilities within a single vision-language model (VLM). Instead of relying on QA-style spatial reasoning, Percept-WAM unifies 2D/3D perception tasks into World-PV and World-BEV tokens, which encode both spatial coordinates and confidence. We propose a grid-conditioned prediction mechanism for dense object perception, incorporating IoU-aware scoring and parallel autoregressive decoding, improving stability in long-tail, far-range, and small-object scenarios. Additionally, Percept-WAM leverages pretrained VLM parameters to retain general intelligence (e.g., logical reasoning) and can output perception results and trajectory control outputs directly. Experiments show that Percept-WAM matches or surpasses classical detectors and segmenters on downstream perception benchmarks, achieving 51.7/58.9 mAP on COCO 2D detection and nuScenes BEV 3D detection. When integrated with trajectory decoders, it further improves planning performance on nuScenes and NAVSIM, e.g., surpassing DiffusionDrive by 2.1 in PMDS on NAVSIM. Qualitative results further highlight its strong open-vocabulary and long-tail generalization.
• Abstract（参考訳）: 自律運転は、正確で堅牢な空間認識に大きく依存している。 多くの失敗は不正確さと不安定性、特にロングテールシナリオや複雑な相互作用によって生じる。 しかし、現在の視覚言語モデルは空間的接地や理解が弱いため、VLAシステムはそれに基づいて構築されており、知覚と局所化能力は限られている。 これらの課題に対処するために,視覚言語モデル (VLM) に暗黙的に2D/3Dシーン理解能力を統合する最初の世界認識行動モデルであるPercept-WAMを導入する。 QAスタイルの空間推論に頼る代わりに、Percept-WAMは2D/3D知覚タスクをWorld-PVおよびWorld-BEVトークンに統合し、空間座標と信頼性の両方を符号化する。 我々は,高密度物体認識のためのグリッド条件付き予測機構を提案し,IoU対応スコアリングと並列自己回帰デコードを導入し,長距離・遠距離・小対象シナリオの安定性を向上させる。 さらに、Percept-WAMはトレーニング済みのVLMパラメータを利用して一般知性(例えば論理的推論)を維持し、認識結果と軌道制御出力を直接出力することができる。 実験の結果、パーセプションWAMは古典的な検出器やセグメンタと下流の知覚ベンチマークで一致し、COCO2D検出とBEV3D検出で51.7/58.9 mAPを達成した。 トラジェクトリデコーダと統合すると、nuScenes と NAVSIM の計画性能をさらに向上し、例えば NAVSIM 上の PMDS の DiffusionDrive を 2.1 で上回る。 質的な結果は、その強い開語彙と長い尾の一般化をさらに強調する。

関連論文リスト

• Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation [68.02899606570223]
  本稿では,効率的なエンボディナビゲーションのための統合フレームワークであるTAMP-Navを提案する。 まず、ナビゲーションを2次元の視覚座標に再構成するPixel-to-3D Action Formulation(Point)を導入する。 次に,Selective Reasoning and Anchor-Trajectory Memory Mechanism (Think and Memorize)を提案する。
  論文  参考訳（メタデータ） (2026-08-18T08:37:08Z)
• Explicit Kinematic Guidance from Analytic Concepts for Vision-Language-Action Models [67.98329043920803]
  現在のヴィジュアル・ランゲージ・アクション(VLA)モデルは、主に2次元入力に依存し、リッチなオブジェクト構造情報や3次元物理世界固有のコモンセンス知識を無視している。 この欠損は、複雑な高精度な操作に対する空間的認識と適応性を制限する。 VLAのためのConcept Expertモジュールを構築し、オブジェクトを明示的でプログラム的な青写真として表現する実行可能なAnalytic Conceptを構築する。
  論文  参考訳（メタデータ） (2026-07-29T06:24:25Z)
• VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
  現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。 既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。 DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:44:26Z)
• UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving [48.461267171124945]
  自動運転のためのUnified Driving Vision-Language-ActionモデルであるUniDriveVLAを提案する。 理解、シーン認識、行動計画の3つの専門家で構成されており、マスク付き共同注意を通して調整されている。 nuScenesのオープンループ評価とBench2Driveのクローズループ評価における最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-02T15:48:45Z)
• AerialVLA: A Vision-Language-Action Model for UAV Navigation via Minimalist End-to-End Control [20.1849703990752]
  無人航空機(UAV)のための視覚言語ナビゲーション(VLN)は複雑な視覚的解釈と3D環境の連続的な制御を必要とする。 AerialVLAは、生の視覚観察とファジィ言語指示を直接連続的な物理制御信号にマッピングする、最小限のエンドツーエンドビジョン・ランゲージ・アクション・フレームワークである。
  論文  参考訳（メタデータ） (2026-03-15T13:02:13Z)
• RADAR: Benchmarking Vision-Language-Action Generalization via Real-World Dynamics, Spatial-Physical Intelligence, and Autonomous Evaluation [76.22852262683746]
  本稿では,現実的な条件下でのVLA一般化を体系的に評価するベンチマークであるRADARを紹介する。 RADARを用いて、複数の最先端のVLAモデルを監査し、その明らかな能力の下で深刻な脆弱性を明らかにする。
  論文  参考訳（メタデータ） (2026-02-11T16:08:30Z)
• AugVLA-3D: Depth-Driven Feature Augmentation for Vision-Language-Action Models [42.57469056850227]
  VLA(Vision-Language-Action)モデルは最近、ロボットの知覚と制御において顕著な進歩を遂げている。 深度推定をVLAモデルに統合し,3次元特徴表現を充実させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:57:32Z)
• Spatial-aware Vision Language Model for Autonomous Driving [16.149511148218497]
  VLM(Vision-Language Models)は、言語モデルに埋め込まれた共通感覚を活用することで、エンドツーエンドの自動運転に重要な可能性を示している。 現在の画像ベース手法は、正確な空間的推論と幾何学的推論に苦しむため、信頼性の低い運転ポリシーが導かれる。 LVLDriveは、自律運転のための堅牢な3次元空間理解により既存のVLMをアップグレードするように設計された新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-12-30T16:35:00Z)
• SpaceDrive: Infusing Spatial Awareness into VLM-based Autonomous Driving [38.21244888074097]
  SpaceDriveは、空間情報をテキスト桁トークンの代わりに明示的な位置符号化(PE)として扱う空間認識駆動フレームワークである。 我々は,SpaceDriveがnuScenesデータセットで最先端のオープンループ性能を実現し,Bench2Driveベンチマークで78.02のドライビングスコアを達成したことを示す。
  論文  参考訳（メタデータ） (2025-12-11T14:59:07Z)
• dVLM-AD: Enhance Diffusion Vision-Language-Model for Driving via Controllable Reasoning [69.36145467833498]
  本稿では,拡散に基づく視覚言語モデルであるdVLM-ADを導入する。 nuScenes と WOD-E2E で評価すると、dVLM-AD はより一貫性のある推論・アクションのペアとなり、既存の駆動VLM/VLAシステムに匹敵する計画性能を達成する。
  論文  参考訳（メタデータ） (2025-12-04T05:05:41Z)
• Beyond Flatlands: Unlocking Spatial Intelligence by Decoupling 3D Reasoning from Numerical Regression [12.590536117486257]
  既存の視覚言語モデル(VLM)は、現実世界の空間知能を理解するのに苦労している。 GEODEは2つの特別なプラグアンドプレイモジュールでメインVLMを拡張している。 これらのモジュールの相乗効果により、1.5Bパラメータモデルは高レベルのセマンティックディスパッチとして機能します。
  論文  参考訳（メタデータ） (2025-11-14T12:42:07Z)
• From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors [54.84863164684646]
  既存の視覚言語アクション(VLA)モデルは3Dの現実世界で機能するが、通常は2Dエンコーダ上に構築される。 本研究では,アクションヘッドにリッチな3次元空間トークンを注入する新しいパラダイムであるFALCONを紹介する。
  論文  参考訳（メタデータ） (2025-10-20T11:26:45Z)
• Universal Camouflage Attack on Vision-Language Models for Autonomous Driving [67.34987318443761]
  自動運転のためのビジュアル言語モデリングが、有望な研究方向として浮上している。 VLM-ADは、敵の攻撃による深刻なセキュリティ脅威に弱いままである。 VLM-ADのための最初のユニバーサルカモフラージュ攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-24T14:52:01Z)
• OccVLA: Vision-Language-Action Model with Implicit 3D Occupancy Supervision [31.929268076595122]
  OccVLAは、3D占有率表現を統一されたマルチモーダル推論プロセスに統合する新しいフレームワークである。 OccVLAは、軌跡計画のためのnuScenesベンチマークの最先端結果を達成し、3次元視覚的質問応答タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-09-06T03:47:21Z)
• VLM-3D:End-to-End Vision-Language Models for Open-World 3D Perception [5.245213543721097]
  本稿では,自律走行シナリオにおける3次元幾何学的認識を可能にする最初のエンドツーエンドフレームワークであるVLM-3Dを提案する。 VLM-3Dはローランド適応(LoRA)を導入し、最小計算オーバーヘッドのタスクにVLMを効率よく適応させる。 VLM-3Dにおける関節意味・幾何学的損失が12.8%の知覚精度向上につながることを示す。
  論文  参考訳（メタデータ） (2025-08-12T16:25:27Z)
• OmniDrive: A Holistic Vision-Language Dataset for Autonomous Driving with Counterfactual Reasoning [68.45848423501927]
  本稿では,エージェントモデルと3次元駆動タスクを対応づける総合的視覚言語データセットを提案する。 提案手法は,代替行動を検討する人間ドライバーと同様,潜在的なシナリオとその成果を評価することによって意思決定を促進する。
  論文  参考訳（メタデータ） (2025-04-06T03:54:21Z)
• OmniDrive: A Holistic Vision-Language Dataset for Autonomous Driving with Counterfactual Reasoning [68.45848423501927]
  本稿では,エージェントモデルと3次元駆動タスクを対応づける総合的視覚言語データセットを提案する。 提案手法は,代替行動を検討する人間ドライバーと同様,潜在的なシナリオとその成果を評価することによって意思決定を促進する。
  論文  参考訳（メタデータ） (2024-05-02T17:59:24Z)
• DuEqNet: Dual-Equivariance Network in Outdoor 3D Object Detection for Autonomous Driving [4.489333751818157]
  まず3次元物体検出ネットワークに等分散の概念を導入するDuEqNetを提案する。 我々のモデルの双対同変は、局所的および大域的両方の同変的特徴を抽出することができる。 本モデルでは, 配向精度が向上し, 予測効率が向上する。
  論文  参考訳（メタデータ） (2023-02-27T08:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。