論文の概要: Speed in the Blind Spot: An Interpretability Analysis of Dynamic Perception in VLMs for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2609.37046v1
• Date: Tue, 29 Sep 2026 08:54:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.344848
• Title: Speed in the Blind Spot: An Interpretability Analysis of Dynamic Perception in VLMs for Autonomous Driving
• Title（参考訳）: 盲点の速度:自律走行用VLMにおける動的知覚の解釈可能性解析
• Abstract要約: 速度理解を3つの課題にまたがる制御診断として研究する。 nuScenesでは、運転指向のAlpamayo-1.5 Vision-Language-Actionモデルとともに、オープンウェイト汎用VLMとPhysicalAI VLMを評価した。 言語評価と時間的摂動, 対実的エゴ速度ヒント, 隠れ表現の線形プローブを組み合わせる。
• 参考スコア（独自算出の注目度）: 0.2905751301655124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models are increasingly used in autonomous-driving systems, yet their ability to recover dynamic physical state from visual input remains insufficiently characterized. We study velocity understanding as a controlled diagnostic across three tasks: surrounding-agent speed, current ego speed, and short-horizon future ego-speed proposal. On nuScenes, we evaluate open-weight general-purpose and PhysicalAI VLMs, together with the driving-oriented Alpamayo-1.5 Vision-Language-Action model, using multiple input and output formulations. We combine verbal evaluation with temporal perturbations, counterfactual ego-speed hints and linear probes of hidden representations. The tasks exhibit distinct failure modes. Surrounding-agent speed is weakly encoded in an agent-specific form, whereas current ego speed is often internally accessible but poorly verbalized: continuous probes achieve 4.7-5.8 km/h MAE compared with 10.2-16.8 km/h MAE for verbal outputs. Multiple frames provide inconsistent verbal gains to single frame inputs, and frame order is rarely exploited. Under non-optimized QLoRA, task-specific adaptation improves both task-relevant latent speed representations and verbal readout, but continuous surrounding-agent speed estimation remains weak, while most future-speed gains survive frame shuffling, indicating limited temporal grounding. Driving specialized Alpamayo-1.5 shows stronger latent representations for surrounding-agent and future ego speed, while current ego-speed decodability is comparable and substantial probe-verbal gaps remain. Thus, driving specialization can strengthen motion representations but does not guarantee stronger encoding across both scene and ego states or reliable readout. The results show that plausible planning outputs do not necessarily imply reliable recovery or temporal grounding of the underlying dynamic state.
• Abstract（参考訳）: ビジョン・ランゲージ・モデルは、自律走行システムでの利用が増えているが、視覚入力から動的物理的状態を回復する能力は、まだ不十分である。 本研究では,3つのタスク – 周辺エージェント速度,現在のエゴ速度,短期水平未来のエゴ速度の提案 – の制御された診断方法として,速度理解について検討する。 nuScenesでは、複数入力と出力の定式化を用いて、運転指向のAlpamayo-1.5 Vision-Language-Actionモデルとともに、オープンウェイト汎用VLMとPhysicalAI VLMを評価した。 言語評価と時間的摂動, 対実的エゴ速度ヒント, 隠れ表現の線形プローブを組み合わせる。 タスクは異なる障害モードを示す。 周囲のエージェント速度はエージェント固有の形で弱符号化されるが、現在のエゴ速度はしばしば内部でアクセス可能であるが言語化されていない:連続プローブは10.2-16.8 km/h MAEに比べて4.7-5.8 km/h MAEを達成する。 複数フレームは単一のフレーム入力に矛盾する言語的利得を与え、フレーム順序はめったに利用されない。 非最適化QLoRAの下では、タスク固有の適応はタスク関連潜在速度表現と動詞の読み出しの両方を改善するが、連続的な周辺エージェントの速度推定は依然として弱く、一方、ほとんどの将来の高速ゲインはフレームシャッフルに留まり、時間的接地が制限される。 Alpamayo-1.5を駆動すると、周囲のエージェントと将来のエゴ速度の遅延表現がより強くなり、現在のエゴ速度のオードビリティは同等であり、プローブバーバルギャップがかなり残っている。 したがって、駆動特化は動きの表現を強化することができるが、シーンとエゴ状態、あるいは信頼できる読み出しの双方でより強力なエンコーディングを保証しない。 その結果, 予測可能な計画出力は, 基礎となる動的状態の回復や時間的接地を必ずしも確実に示さないことがわかった。

関連論文リスト

• Continuous Actions from Discrete Minds: Latent-Aligned Planning for End-to-End Autonomous Driving [9.355166979896115]
  ラプラ(LaPla)は、視覚・言語・アクション統合フレームワークで、正確な動作実行のセマンティック理解を実現する。 LaPlaは競争力のあるオープンループ性能を実現し、最先端のVLA法と比較して、L2の長い水平誤差を15.52%削減した。
  論文  参考訳（メタデータ） (2026-09-03T16:42:11Z)
• DRIVESPATIAL: A Benchmark for Spatiotemporal Intelligence in VLMs for Autonomous Driving [15.87281823665284]
  DriveSpatialは、5つの大規模自律運転データセットから20タスクにわたる15.6Kの検証済みQAペアのベンチマークである。 以前のベンチマークとは異なり、DriveSpatialはオブジェクトの状態、空間的関係、インタラクション、カメラの可視性、時間的対応をエンコードする動的多言語シーングラフから生成される。 最強のモデルは人間を28.4ポイント追尾し、認知シーン構築が重要なボトルネックとなる。
  論文  参考訳（メタデータ） (2026-05-22T02:52:06Z)
• MindVLA-U1: VLA Beats VA with Unified Streaming Architecture for Autonomous Driving [54.57163800903507]
  我々は、自動運転のための最初の統合ストリーミングVLAアーキテクチャであるMindVLA-U1を紹介する。 統一されたVLMバックボーンは、1つの共有表現に1つのフォワードパスでAR言語トークンとフローマッチングされた連続的なアクショントラジェクトリを生成する。 ロングテールのWOD-E2Eベンチマークでは、MindVLA-U1が経験豊富な人間のドライバーを初めて上回った。
  論文  参考訳（メタデータ） (2026-05-12T18:09:42Z)
• OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation [61.18260993245354]
  Chain-of-Thought(CoT)推論は、VLAベースの自律運転において、軌道予測の強力なドライバである。 本稿では,2つの補助デコーダによって制御されるコンパクトな潜在トークンを通じて推論をルーティングする,統一VLAおよびワールドモデルフレームワークであるOneVLを提案する。 OneVLは、明示的なCoTを超える最初の遅延CoTメソッドとなり、応答のみのレイテンシで最先端の精度を提供する。
  論文  参考訳（メタデータ） (2026-04-20T16:37:22Z)
• UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving [48.461267171124945]
  自動運転のためのUnified Driving Vision-Language-ActionモデルであるUniDriveVLAを提案する。 理解、シーン認識、行動計画の3つの専門家で構成されており、マスク付き共同注意を通して調整されている。 nuScenesのオープンループ評価とBench2Driveのクローズループ評価における最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-02T15:48:45Z)
• KEPT: Knowledge-Enhanced Prediction of Trajectories from Consecutive Driving Frames with Vision-Language Models [19.625631486595505]
  本稿では,知識に富んだ視覚言語フレームワークであるKEPTを紹介する。 連続するフロントビュー駆動フレームから直接エゴ軌道を予測する。 オープンループプロトコル間の最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-09-03T03:10:42Z)
• Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
  視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。 本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。 我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
  論文  参考訳（メタデータ） (2025-05-09T20:28:17Z)
• HiLoTs: High-Low Temporal Sensitive Representation Learning for Semi-Supervised LiDAR Segmentation in Autonomous Driving [9.941013804343477]
  連続LiDARフレームから高時間感度および低時間感度表現を学習するHiLoTを提案する。 その結果,提案したHiLoTsは最先端の半教師付き手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-03-22T12:29:15Z)
• DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving [55.53171248839489]
  我々は、エンドツーエンドの自動運転のためのエゴ中心の完全スパースパラダイムであるDiFSDを提案する。 特に、DiFSDは主にスパース知覚、階層的相互作用、反復的な運動プランナーから構成される。 nuScenesとBench2Driveデータセットで実施された実験は、DiFSDの優れた計画性能と優れた効率を実証している。
  論文  参考訳（メタデータ） (2024-09-15T15:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。