論文の概要: S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2607.13926v1
- Date: Wed, 15 Jul 2026 15:07:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.817844
- Title: S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving
- Title（参考訳）: S-squared-VLA:自律運転のための視覚言語行動モデルにおける意味ストリームと空間ストリームの分離
- Abstract要約: VLM(Vision-Language Models)は、自律運転における高レベルの推論に顕著な可能性を示している。
VLMは、個別の言語トークンと連続的な軌道計画のミスマッチによって、正確で低レベルな制御アクションを生成するのに苦労する。
本稿では,視覚・言語・行動モデルにおける意味的・空間的ストリームを明示的に分離するS-squared-VLAを提案する。
- 参考スコア（独自算出の注目度）: 8.813976817688605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) have demonstrated remarkable potential for high-level reasoning in autonomous driving, yet they fundamentally struggle to generate precise, low-level control actions. This limitation is rooted in a semantic-physical gap caused by the inherent mismatch between discrete language tokens and continuous trajectory planning. While Vision-Language-Action (VLA) architectures attempt to bridge this gap by unifying perception and control into a single policy, this entanglement creates a new bottleneck. Standard VLAs experience a severe spatial representation collapse, which irreversibly degrades the fine-grained spatial and geometric priors essential for safe, boundary-aware navigation. To address this limitation, we propose the S-squared-VLA, which explicitly decouples the semantic and spatial streams in Vision-Language-Action models. The semantic stream leverages hierarchical bridging to extract multi-scale VLM features for robust intent reasoning. In parallel, an independent spatial stream bypasses the autoregressive language bottleneck, directly preserving uncompressed spatial features from the visual encoder. By integrating auxiliary perception supervision, this stream explicitly equips the model with rich spatial and geometric priors. Finally, a dual-stream planning adapter fuses high-level semantic intent with precise spatial constraints via cascaded attention mechanisms. Evaluations on the NAVSIM closed-loop benchmark show that S-squared-VLA achieves a Predictive Driver Model Score (PDMS) of 87.1, establishing a new state-of-the-art for VLA models under a purely supervised fine-tuning (SFT) setting. By mitigating the spatial representation collapse of traditional VLMs, our framework significantly outperforms baselines, achieving the highest No Collision (NC) rate of 98.4 among all evaluated methods.
- Abstract（参考訳）: VLM(Vision-Language Models)は、自律運転における高レベル推論の顕著な可能性を示しているが、それらは基本的に、正確で低レベルな制御アクションを生成するのに苦労している。
この制限は、離散的な言語トークンと連続的な軌道計画の間の固有のミスマッチによって引き起こされる意味論的ギャップに根ざしている。
Vision-Language-Action (VLA)アーキテクチャは、知覚と制御を単一のポリシーに統合することで、このギャップを埋めようとしているが、この絡み合いは新たなボトルネックを生み出している。
標準VLAは深刻な空間表現の崩壊を経験し、安全で境界対応のナビゲーションに不可欠な細粒度の空間的および幾何学的先行を不可逆的に劣化させる。
この制限に対処するために,視覚・言語・アクションモデルにおける意味的・空間的ストリームを明示的に分離するS-squared-VLAを提案する。
セマンティックストリームは階層的ブリッジングを利用して、堅牢な意図推論のためにマルチスケールのVLM特徴を抽出する。
並行して、独立空間ストリームは自己回帰言語ボトルネックをバイパスし、視覚エンコーダから非圧縮空間特徴を直接保存する。
補助的な知覚監督を統合することで、このストリームはモデルに豊かな空間的および幾何学的先行性を持たせることができる。
最後に、二重ストリーム計画アダプタは、カスケードされた注意機構を介して、高精度な空間制約を伴う高レベルの意味意図を融合する。
NAVSIMクローズドループベンチマークの評価によると、S-squared-VLAは87.1の予測ドライバモデルスコア(PDMS)を達成し、純粋に教師付き微調整(SFT)設定の下でVLAモデルのための新しい最先端技術を確立した。
従来のVLMの空間的表現の崩壊を緩和することにより,本フレームワークはベースラインを著しく上回り,評価手法の中で最も高いNo Collision (NC) 率98.4を達成している。
関連論文リスト
- Lagrange: An Open-Vocabulary, Energy-Based Sparse Framework for Generalized End-to-End Driving [12.828441606176447]
複雑なオープンワールド環境へのエンド・ツー・エンドの自動運転のスケーリングには、運動学的に有効な軌道を生成する異常なシナリオやプランナーに一般化する知覚モデルが必要である。
我々は,Masked Latent Fields (MLF) に基づく,オープンな語彙と計算的にスパースな駆動フレームワークであるLagrangeを提案する。
我々は無関係な実体を時間的にフィルタリングし、出席したトークンを空間座標上で定義された暗黙の連続エネルギー場に復号する意図駆動型マスク付きクロスアテンションモジュールを導入する。
論文 参考訳（メタデータ） (2026-06-18T14:18:01Z) - TPS-Drive: Task-Guided Representation Purification for VLM-based Autonomous Driving [4.149502662454591]
VLM(Vision-Language Models)は、自動運転計画のための有望な基盤を提供する。
TPS-Driveは,タスクガイド型表現精製を主眼とした新しいフレームワークである。
TPS-Driveは正確なエージェント空間状態予測を実現し、オープンループnuScenes評価における衝突率を低減する。
論文 参考訳（メタデータ） (2026-05-26T13:56:31Z) - VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。
既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。
DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
論文 参考訳（メタデータ） (2026-05-11T12:44:26Z) - HiVLA: A Visual-Grounded-Centric Hierarchical Embodied Manipulation System [48.02804864175127]
HiVLAは、低レベルのモーター制御から高レベルのセマンティックプランニングを明確に分離する、視覚的なグラウンド中心の階層的なフレームワークである。
シミュレーションと実世界の実験により、HiVLAは最先端のエンドツーエンドベースラインを著しく上回ることを示した。
論文 参考訳（メタデータ） (2026-04-15T17:50:07Z) - DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA [72.9197085473598]
DIALはハイレベルな意思決定と低レベルなモーター実行を、差別化可能な潜在意図ボトルネックを通じてブリッジするフレームワークである。
VLMベースのSystem-2は、VLMのネイティブな特徴空間内で、潜伏した視覚的フォレストによって潜伏世界モデリングを行う。
軽量のSystem-1ポリシーでは、この予測された意図と現在の観測結果を正確にロボットの動作にデコードする。
論文 参考訳（メタデータ） (2026-03-31T15:02:27Z) - ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。
本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-23T17:59:42Z) - TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。
我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。
トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。
埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
論文 参考訳（メタデータ） (2026-03-03T13:28:07Z) - LaST-VLA: Thinking in Latent Spatio-Temporal Space for Vision-Language-Action in Autonomous Driving [21.38662345656532]
VLA(Vision-Language-Action)モデルは、認識と計画の統合によって自動運転に革命をもたらした。
明示的なテキスト・オブ・ワット(CoT)への依存は、意味的・知覚的疎結合と知覚的・象徴的対立につながる。
潜在的推論への最近のシフトは、連続的な隠れ空間で考えることによって、これらのボトルネックを回避しようとする。
論文 参考訳（メタデータ） (2026-03-02T14:42:36Z) - HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving [20.266736153749417]
Vision-Language-Action(VLA)モデルは、マルチモーダル理解を通じて自律運転に有望な機能を提供する。
安全クリティカルなシナリオにおけるそれらの利用は、数値推論、弱い3次元空間認識、文脈に対する高い感度を含む固有の制限によって制限されている。
信頼軌道生成用に設計された階層型時空間VLAモデルであるHiST-VLAを提案する。
論文 参考訳（メタデータ） (2026-02-11T07:08:33Z) - SGHA-Attack: Semantic-Guided Hierarchical Alignment for Transferable Targeted Attacks on Vision-Language Models [73.19044613922911]
大規模視覚言語モデル(VLM)は、転送ベースの対向摂動に対して脆弱である。
SGHA-Attackは、複数のターゲット参照を採用し、中間層一貫性を強制するフレームワークである。
オープンソースおよび商用のブラックボックスVLMの実験は、SGHA-Attackが従来の方法よりも強力な目標転送性を実現することを示している。
論文 参考訳（メタデータ） (2026-02-02T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。