論文の概要: TPS-Drive: Task-Guided Representation Purification for VLM-based Autonomous Driving
- arxiv url: http://arxiv.org/abs/2605.27038v1
- Date: Tue, 26 May 2026 13:56:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:42.202073
- Title: TPS-Drive: Task-Guided Representation Purification for VLM-based Autonomous Driving
- Title(参考訳): TPS-Drive: VLMによる自律運転のためのタスクガイド型表現法
- Authors: Jiaxiang Li, Yumao Liu, Ke Ma,
- Abstract要約: VLM(Vision-Language Models)は、自動運転計画のための有望な基盤を提供する。
TPS-Driveは,タスクガイド型表現精製を主眼とした新しいフレームワークである。
TPS-Driveは正確なエージェント空間状態予測を実現し、オープンループnuScenes評価における衝突率を低減する。
- 参考スコア(独自算出の注目度): 4.149502662454591
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language Models (VLMs) provide a promising foundation for autonomous driving planning, yet bridging semantic reasoning and precise 3D spatial forecasting remains a critical challenge. Existing representation strategies generally follow two paths: text-aligned methods flatten continuous spatial states into symbols, which compromises geometric structure and induces "spatial hallucinations"; dense visual methods preserve spatial topology but overwhelm standard tokenizers with redundant background textures, leading to "representation interference". To address these limitations, we introduce TPS-Drive, a novel framework centered on Task-Guided Representation Purification that empowers VLMs to Think in Purified Space. At its core, an Agent-Centric Tokenizer utilizes a task-guided vector quantization mechanism supervised by a frozen 3D detection head, which explicitly reallocates limited codebook capacity from pervasive static backgrounds to critical dynamic agents and effectively isolates spatial redundancy. Leveraging this purified spatial vocabulary, TPS-Drive employs a decoupled reasoning pipeline that sequentially performs scene understanding, future forecasting, and action generation. The framework is optimized via a progressive three-stage training paradigm, culminating in reward-driven refinement that surpasses pure imitation learning. Extensive experiments validate our approach: TPS-Drive achieves accurate agent spatial state forecasting and reduces collision rates in open-loop nuScenes evaluations, while establishing new safety records on the rigorous closed-loop NAVSIMv1 and NAVSIMv2 benchmarks.
- Abstract(参考訳): VLM(Vision-Language Models)は、自律走行計画のための有望な基盤を提供するが、意味論的推論と正確な3次元空間予測は依然として重要な課題である。
既存の表現戦略は一般に2つの経路に従う: テキスト整列法は連続した空間状態を記号に平らにし、幾何学的構造を妥協し「空間幻覚」を誘導する。
これらの制約に対処するため,我々はタスクガイド型表現の標準化を中心とした新しいフレームワークであるTPS-Driveを紹介した。
エージェント中心のTokenizerは、凍った3D検出ヘッドによって制御されるタスク誘導ベクトル量子化機構を利用して、広範囲な静的背景から重要な動的エージェントへの限定的なコードブック容量を明示的に再配置し、空間的冗長性を効果的に分離する。
この浄化された空間語彙を活用して、TPS-Driveは、シーン理解、将来の予測、アクション生成を順次実行する分離された推論パイプラインを使用する。
このフレームワークは、プログレッシブな3段階のトレーニングパラダイムによって最適化され、純粋な模倣学習を超えた報酬駆動の洗練が達成される。
TPS-Driveは、厳密な閉ループNAVSIMv1とNAVSIMv2ベンチマークで新しい安全記録を確立しながら、オープンループnuScenes評価における正確なエージェント空間状態予測と衝突率の低減を実現している。
関連論文リスト
- LaST-VLA: Thinking in Latent Spatio-Temporal Space for Vision-Language-Action in Autonomous Driving [21.38662345656532]
VLA(Vision-Language-Action)モデルは、認識と計画の統合によって自動運転に革命をもたらした。
明示的なテキスト・オブ・ワット(CoT)への依存は、意味的・知覚的疎結合と知覚的・象徴的対立につながる。
潜在的推論への最近のシフトは、連続的な隠れ空間で考えることによって、これらのボトルネックを回避しようとする。
論文 参考訳(メタデータ) (2026-03-02T14:42:36Z) - HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving [20.266736153749417]
Vision-Language-Action(VLA)モデルは、マルチモーダル理解を通じて自律運転に有望な機能を提供する。
安全クリティカルなシナリオにおけるそれらの利用は、数値推論、弱い3次元空間認識、文脈に対する高い感度を含む固有の制限によって制限されている。
信頼軌道生成用に設計された階層型時空間VLAモデルであるHiST-VLAを提案する。
論文 参考訳(メタデータ) (2026-02-11T07:08:33Z) - SUG-Occ: An Explicit Semantics and Uncertainty Guided Sparse Learning Framework for Real-Time 3D Occupancy Prediction [5.730573889498275]
SuG-Occは明示的なセマンティックスと不確実性ガイドによるスパース学習を可能とした3D職業予測フレームワークである。
まず、ビュー変換時の自由空間からの射影を抑えるために、意味的および不確実性事前を利用する。
次に、幾何整合性を高めるために明示的な符号なし距離符号化を用い、構造的に一貫したスパース3D表現を生成する。
論文 参考訳(メタデータ) (2026-01-16T16:07:38Z) - SGDrive: Scene-to-Goal Hierarchical World Cognition for Autonomous Driving [52.02379432801349]
本稿では,運転特化知識階層に関するVLMの表現学習を構築する新しいフレームワークであるSGDriveを提案する。
トレーニング済みのVLMバックボーン上に構築されたSGDriveは、人間の運転認知を反映するシーンエージェントゴール階層に、駆動理解を分解する。
論文 参考訳(メタデータ) (2026-01-09T08:55:42Z) - SparseWorld-TC: Trajectory-Conditioned Sparse Occupancy World Model [27.54931639768958]
本稿では, これからの3Dシーン占有状況の軌跡条件予測のための新しいアーキテクチャを提案する。
GPTやVGGTのような基本的な視覚や言語モデルにおける注意に基づくトランスフォーマーアーキテクチャにインスパイアされた我々は、中間的な鳥の視線(BEV)投影と、その明示的な幾何学的先行をバイパスする疎密な占有表現を採用した。
離散トークン化の有限容量制約とBEV表現の構造的制約の両方を回避し、1-3秒の占有予測のためのnuScenesベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2025-11-27T02:48:45Z) - SuperFlow++: Enhanced Spatiotemporal Consistency for Cross-Modal Data Pretraining [62.433137130087445]
SuperFlow++は、連続するカメラペアを使用して事前トレーニングと下流タスクを統合する新しいフレームワークである。
SuperFlow++は様々なタスクや運転条件で最先端のメソッドよりも優れています。
強力な一般化性と計算効率により、SuperFlow++は、自動運転におけるデータ効率の高いLiDARベースの認識のための新しいベンチマークを確立する。
論文 参考訳(メタデータ) (2025-03-25T17:59:57Z) - OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。
我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。
意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文 参考訳(メタデータ) (2023-12-14T18:58:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。