論文の概要: From Foundation VLM to Versatile Driving VLM: A Triplet Incremental Training Approach
- arxiv url: http://arxiv.org/abs/2611.16727v1
- Date: Thu, 12 Nov 2026 12:39:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.470054
- Title: From Foundation VLM to Versatile Driving VLM: A Triplet Incremental Training Approach
- Title(参考訳): 基礎VLMからVersatile Driving VLM:トリプルトインクリメンタルトレーニングアプローチ
- Abstract要約: 一般のビジョン・ランゲージ・モデルから自律運転(AD)への適応には、重い3次元空間事前または侵入的なアーキテクチャオーバーホールが必要であると考えられている。
市販の一般VLMは多種多様な運転タスクに対して顕著な適応性を示す。
一般的なVLMバックボーンに3次元幾何学的認識をシームレスに注入する非侵入的パラダイムであるTriplet Incremental Training Frameworkを導入する。
- 参考スコア(独自算出の注目度): 25.74879084532356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adapting general Vision-Language Models (VLMs) to Autonomous Driving (AD) is thought to require heavy 3D spatial priors or intrusive architectural overhauls to compensate for a lack of spatial grounding. In this work, we present a counterintuitive pilot study: off-the-shelf general VLMs already exhibit remarkable adaptability across diverse driving tasks, while precise metric depth remains the primary missing link, a bottleneck readily addressable via onboard sensors and depth foundation models. To this end, we introduce the Triplet Incremental Training Framework, a non-intrusive paradigm that seamlessly instills 3D geometric awareness into a general VLM backbone while fully preserving its open-world capabilities. Driven by automatically constructed (image, depth, QA pair) triplets, our framework operates via a unified tri-stream training pipeline: an unfrozen primary VLM stream to adapt to driving tasks, an auxiliary depth stream that guides the visual backbone to implicitly imagine 3D scene geometry via explicit geometric constraints, and a frozen twin VLM stream employing logit-level KL distillation to prevent semantic drift. Crucially, the auxiliary depth branch is discarded during deployment, ensuring the enhanced geometric awareness comes with zero inference overhead. We evaluate our framework across four major benchmarks targeting four diverse capabilities spanning 3D spatial perception, driving-oriented language reasoning, end-to-end planning, and general multimodal understanding. Our approach outperforms state-of-the-art driving VLMs, rivals domain-specific expert models in 3D perception, and successfully retains its original general reasoning capabilities. This demonstrates that Triplet Incremental Training offers a unified, deployment-ready paradigm for transforming general foundation models into robust driving intelligences.
- Abstract(参考訳): VLM(General Vision-Language Models)を自律運転(AD)に適用するには、空間接地の欠如を補うために、重い3次元空間事前または侵入的なアーキテクチャオーバーホールが必要であると考えられている。
市販の一般VLMは、様々な運転タスクに対して顕著な適応性を示す一方、正確な距離深度は、オンボードセンサーと深度基礎モデルを介して容易に対応可能なボトルネックである主要な欠落リンクである。
この目的のために,オープンワールド機能を完全に保ちつつ,一般的なVLMバックボーンに3次元幾何学的認識をシームレスに注入する非侵入的パラダイムであるTriplet Incremental Training Frameworkを紹介した。
我々のフレームワークは、自動構築された(画像、深さ、QAペア)三脚によって駆動され、駆動タスクに適応するための未凍結の一次VLMストリーム、視覚バックボーンをガイドする補助的な深度ストリーム、明示的な幾何学的制約によって3次元シーン形状を暗黙的に想像するための補助的な深度ストリーム、そしてロジトレベルのKL蒸留を用いて、セマンティックドリフトを防ぐために凍結された双子のVLMストリームである。
重要なことに、補助深度分岐は展開中に破棄され、幾何的認識が強化され、推測オーバーヘッドがゼロになる。
我々は,3次元空間認識,駆動指向言語推論,エンドツーエンド計画,汎用マルチモーダル理解の4つの機能を対象とした4つの主要なベンチマークを対象とするフレームワークの評価を行った。
提案手法は最先端の駆動型VLMより優れ、3次元知覚においてドメイン固有のエキスパートモデルに匹敵し、元の一般的な推論能力を維持している。
これは、Triplet Incremental Trainingが、一般的な基盤モデルを堅牢な駆動インテリジェンスに変換するための、統一的でデプロイ可能なパラダイムを提供することを示している。
関連論文リスト
- GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation [75.85672467847631]
本稿では,3次元のコンパクトな特徴表現であるGeometry-Aware BEV (GA-BEV)を紹介する。
視覚的特徴を3次元空間に投影することで,RGB-D入力からBEV空間マップを構築する。
我々は,BEV空間に事前訓練された3Dファンデーションモデルの特徴を取り入れ,大規模3D再構築作業から学んだ構造的先行を注入する。
論文 参考訳(メタデータ) (2026-05-21T06:20:17Z) - Unlocking Dense Metric Depth Estimation in VLMs [36.431792667223796]
VLM(Vision-Language Models)は、接地やキャプションなどの2Dタスクに優れるが、3D理解には制限がある。
本稿では,単一のVLMをネイティブな密度密度幾何学予測器に変換する,シンプルで効果的なフレームワークであるDepthVLMを提案する。
LLMバックボーンに軽量な深度ヘッドをアタッチすることで、DepthVLMは1つの前方パスで言語出力と並行してフル解像度の深度マップを生成する。
論文 参考訳(メタデータ) (2026-05-15T11:54:17Z) - VLMFusionOcc3D: VLM Assisted Multi-Modal 3D Semantic Occupancy Prediction [0.0]
VLMFusionOcc3Dは、自律運転における高密度な3Dセマンティック占有率予測のための堅牢なマルチモーダルフレームワークである。
我々は,車両メタデータと気象条件付きプロンプトを利用した動的ゲーティング機構であるWeather-Aware Adaptive Fusionを導入する。
我々のアプローチは、複雑な都市ナビゲーションのためのスケーラブルで堅牢なソリューションを提供するため、挑戦的な気象シナリオにおいて、大幅な改善を実現している。
論文 参考訳(メタデータ) (2026-03-03T05:22:28Z) - VGGDrive: Empowering Vision-Language Models with Cross-View Geometric Grounding for Autonomous Driving [26.557803260279258]
自律運転のためのクロスビュー3D幾何モデリング能力は自明であるが、既存のビジョンランゲージモデルには本質的にこの能力がない。
本稿では,視覚言語モデルに自律走行のための幾何学的グラウンドリングを用いた新しいアーキテクチャ,VGGDriveを提案する。
論文 参考訳(メタデータ) (2026-02-24T11:33:44Z) - Spatial-aware Vision Language Model for Autonomous Driving [16.149511148218497]
VLM(Vision-Language Models)は、言語モデルに埋め込まれた共通感覚を活用することで、エンドツーエンドの自動運転に重要な可能性を示している。
現在の画像ベース手法は、正確な空間的推論と幾何学的推論に苦しむため、信頼性の低い運転ポリシーが導かれる。
LVLDriveは、自律運転のための堅牢な3次元空間理解により既存のVLMをアップグレードするように設計された新しいフレームワークである。
論文 参考訳(メタデータ) (2025-12-30T16:35:00Z) - Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。
そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。
パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
論文 参考訳(メタデータ) (2025-12-23T17:56:36Z) - Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。
我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。
提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
論文 参考訳(メタデータ) (2025-11-14T04:16:09Z) - VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。
VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
論文 参考訳(メタデータ) (2025-05-26T17:56:30Z) - OmniDrive: A Holistic Vision-Language Dataset for Autonomous Driving with Counterfactual Reasoning [68.45848423501927]
本稿では,エージェントモデルと3次元駆動タスクを対応づける総合的視覚言語データセットを提案する。
提案手法は,代替行動を検討する人間ドライバーと同様,潜在的なシナリオとその成果を評価することによって意思決定を促進する。
論文 参考訳(メタデータ) (2024-05-02T17:59:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。