論文の概要: Geo-VLA: Geometry-Aware Vision-Language-Action Planning via Internalization of Map Semantics
- arxiv url: http://arxiv.org/abs/2608.21440v1
- Date: Tue, 18 Aug 2026 08:25:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.090527
- Title: Geo-VLA: Geometry-Aware Vision-Language-Action Planning via Internalization of Map Semantics
- Title(参考訳): Geo-VLA: 地図セマンティックスの内部化による幾何学的視覚・言語・行動計画
- Abstract要約: 視覚言語アクション(VLA)モデルは、セマンティック推論に基礎モデルを活用することによって、高度なエンドツーエンドの自律運転を実現する。
幾何学的視覚表現を学習することでVLAモデルを強化するプラグイン・アンド・プレイフレームワークであるGeo-VLAを提案する。
- 参考スコア(独自算出の注目度): 14.365159494293382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models have advanced end-to-end autonomous driving by leveraging foundation models for semantic reasoning and long-tail generalization. However, their planning performance remains limited in complex driving environments because image-only representations inadequately capture planning-relevant road geometry and topology. In this paper, we propose Geo-VLA, a plug-and-play framework that enhances VLA models by learning geometry-aware visual representations. During training, Geo-VLA internalizes geometric map semantics to strengthen road-structure representations, while requiring no HD maps or additional lane information during inference. To support this approach, we introduce Geo-QA, a geometry-focused question-answering dataset that injects road geometry into vision-language representations through contrastive learning and instruction tuning. Experiments on NAVSIM v1 demonstrate that Geo-VLA consistently improves VLA planners with distinct action-generation architectures, achieving 92.1 PDMS and establishing a new state-of-the-art among single-camera VLA planners.
- Abstract(参考訳): 視覚言語アクション(VLA)モデルは、セマンティック推論とロングテール一般化に基礎モデルを活用することにより、高度なエンドツーエンドの自律運転を実現する。
しかし、画像のみの表現が計画関連道路形状やトポロジを不適切に捉えているため、複雑な運転環境において計画性能は依然として限られている。
本稿では、幾何学的視覚表現を学習することでVLAモデルを強化するプラグイン・アンド・プレイフレームワークであるGeo-VLAを提案する。
トレーニング中、Geo-VLAは幾何学地図セマンティクスを内部化して道路構造表現を強化し、推論中にHDマップや追加レーン情報を必要としない。
このアプローチを支援するために,道路形状を視覚言語表現に注入するジオQA(Geo-QA)を提案する。
NAVSIM v1の実験では、Geo-VLAは、異なるアクションジェネレーションアーキテクチャによるVLAプランナを一貫して改善し、92.1 PDMSを達成し、シングルカメラのVLAプランナの間で新たな最先端技術を確立している。
関連論文リスト
- HGeo-TopoMap: Boosting Topological Mapping with Hierarchical Geometric Priors [21.87112367760861]
トポロジカルマップは自律運転認識システムの重要な出力であり、経路計画に不可欠な道路情報を提供する。
現実世界の環境において、センターラインに対する明示的なマーキングが欠如しているため、センターラインインスタンスの検出は依然として重大な課題である。
本研究では,HGeo-TopoMapを提案する。HGeo-TopoMapは明示的な事前マップと暗黙的な空間関係を利用して,階層的にトポロジカルマッピングを促進する。
論文 参考訳(メタデータ) (2026-07-23T13:02:18Z) - GeoAlign: Beyond Semantics with State-Guided Spatial Alignment in VLA Models [40.52757787197674]
VLA政策学習のための状態誘導型空間アライメントアーキテクチャであるGeoAlignを紹介する。
GeoAlignは、ロボットドメインのRGB-D監視を備えたRGBジオグラフィックブランチをポストトレーニングし、ポリシーロールアウトのためにRGB由来のGeometry-Enhanced Post-Trained機能を生成する。
GeoAlignは、LIBEROの99.0%、SimplerEnv-Fractalの3つのタスクで85.3%、幾何学的にクリティカルな8つの現実世界のALOHAタスクで78.8%を達成している。
論文 参考訳(メタデータ) (2026-06-02T07:01:18Z) - GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation [75.85672467847631]
本稿では,3次元のコンパクトな特徴表現であるGeometry-Aware BEV (GA-BEV)を紹介する。
視覚的特徴を3次元空間に投影することで,RGB-D入力からBEV空間マップを構築する。
我々は,BEV空間に事前訓練された3Dファンデーションモデルの特徴を取り入れ,大規模3D再構築作業から学んだ構造的先行を注入する。
論文 参考訳(メタデータ) (2026-05-21T06:20:17Z) - GeoWorld-VLM: Geometry from World Models for Vision-Language Models [10.86505613923278]
現代視覚言語モデル (VLM) は強力な意味認識を実現するが, 基本的な空間的関係は不安定である。
冷凍ビデオワールドモデルからVLMへ幾何学構造を転送するVLM側蒸留フレームワークであるGeoWorld-VLMを紹介する。
GeoWorld-VLMファインチューニングはイメージエンコーダとマルチモーダルプロジェクタのみであり、メインのバックボーンを凍結しながら、プロジェクタ後のイメージ特徴と中間のワールドモデル表現とを一致させる。
論文 参考訳(メタデータ) (2026-05-15T23:52:11Z) - DVGT-2: Vision-Geometry-Action Model for Autonomous Driving at Scale [63.05446464787182]
本稿では,高密度な3次元形状を自律運転のクリティカルキューとして提唱するビジョン・ジオメトリ・アクションのパラダイムを提案する。
本稿では,DVGT-2(Stream Driving Visual Geometry Transformer)を導入し,入力をオンラインに処理し,現行のフレームに対して高密度なジオメトリとトラジェクトリプランニングを共同で出力する。
高速にもかかわらず、DVGT-2は様々なデータセット上で優れた幾何再構成性能を達成する。
論文 参考訳(メタデータ) (2026-04-01T12:21:26Z) - Make Geometry Matter for Spatial Reasoning [62.61667611352403]
視覚言語モデル(VLM)は、強いイメージと映像理解を実現するが、静的シーンとダイナミックビデオの両方で空間的推論を行う能力は限られている。
近年の進歩は、事前訓練された3次元基礎モデルから幾何学トークンをVLMに注入することで、この制限に対処しようとしている。
我々は、VLMが幾何トークンで積極的に推論するように促すことにより、幾何学的問題を作るためのフレームワークGeoSRを提案する。
論文 参考訳(メタデータ) (2026-03-27T17:45:12Z) - AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。
本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
論文 参考訳(メタデータ) (2026-03-18T12:43:47Z) - Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code [27.26235987246201]
マルチモーダル幾何推論は、視覚図を共同で理解し、構造化されたシンボル推論を実行するモデルを必要とする。
我々は,スクラッチから複雑なマルチモーダル幾何問題に対するパイプラインを提案し,問題生成をシンボリックシード構造に分離するtextbfGeoCode というデータセットを構築した。
さらに、コード予測を明示的なアライメント目標として導入し、視覚的理解を教師付き構造化予測タスクに変換する。
論文 参考訳(メタデータ) (2026-02-21T07:53:48Z) - GeoVLMath: Enhancing Geometry Reasoning in Vision-Language Models via Cross-Modal Reward for Auxiliary Line Creation [54.53486231309254]
ソリッド幾何学における補助線形推論に適したオープンソースのLVLMであるGeoVLMathを提案する。
我々は,LVLMの表現強度に整合性を持たせるために,補助線構成のテキスト記述を生成する。
この報酬に基づいて構築されたGeoVLMathは、固体幾何学における補助線形推論に適したオープンソースのLVLMである。
論文 参考訳(メタデータ) (2025-10-13T05:33:51Z) - BEVBert: Multimodal Map Pre-training for Language-guided Navigation [75.23388288113817]
視覚・言語ナビゲーション(VLN)における空間認識型マップベース事前学習パラダイムを提案する。
我々は,グローバルなトポロジカルマップにおけるナビゲーション依存性をモデル化しながら,不完全な観測を明示的に集約し,重複を取り除くための局所距離マップを構築した。
ハイブリッドマップをベースとして,マルチモーダルマップ表現を学習するための事前学習フレームワークを考案し,空間認識型クロスモーダル推論を強化し,言語誘導ナビゲーションの目標を導出する。
論文 参考訳(メタデータ) (2022-12-08T16:27:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。