論文の概要: What's Hidden Matters: Identifying Planning-Critical Occluded Agents using Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.00283v1
• Date: Wed, 01 Jul 2026 00:14:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.671392
• Title: What's Hidden Matters: Identifying Planning-Critical Occluded Agents using Vision-Language Models
• Title（参考訳）: 隠蔽物質:視覚言語モデルを用いた計画的批判的隠蔽剤の同定
• Abstract要約: この研究は、視覚言語モデルが隠されたエージェントを識別し、推論できるようにすることによって、知覚と計画の間に重要なギャップを埋める。 我々は,情報理論の指標であるプランニングKL分割(PKL)を用いて,隠蔽エージェントを体系的に識別・ランク付けする新しいフレームワークを提案する。 このフレームワークをnuScenesデータセットに適用し、高インパクトシナリオに焦点を当てた新しいベンチマークを作成します。
• 参考スコア（独自算出の注目度）: 13.668330688399516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous vehicles must safely navigate complex environments where planning-critical agents may be hidden from view. Current approaches often treat all occlusions with uniform conservatism, yielding needlessly defensive driving, or they infer hidden spaces without estimating the impact on the planner. This work bridges the critical gap between perception and planning by enabling Vision-Language Models (VLMs) to identify and reason about the specific hidden agents that are most critical to the ego-vehicle's trajectory. We introduce a novel framework that uses Planning KL-divergence (PKL), an information-theoretic metric, to systematically identify and rank occluded agents based on their impact on the ego vehicle's plan. Using this planning-aware ranking, we employ an expert VLM (GPT-5) to generate rich, structured annotations that capture the visual evidence and reasoning required for this task. We apply this framework to the nuScenes dataset to create a new benchmark focused on high-impact scenarios. We conduct comprehensive experiments on a wide range of general-purpose and domain-adapted VLMs, demonstrating that fine-tuning on our PKL-guided data yields dramatic performance improvements across all models. Notably, our results show that smaller, fine-tuned models significantly outperform their much larger zero-shot counterparts, and that our PKL-guided data selection strategy improves performance by approximately 30\% over random sampling. Our work presents the first systematic approach for training VLMs to focus on planning-critical occlusions, enabling more semantically grounded and efficient risk assessment in autonomous driving.
• Abstract（参考訳）: 自動運転車は、計画クリティカルなエージェントが視界から隠れている複雑な環境を安全にナビゲートする必要がある。 現在のアプローチでは、すべてのオクルージョンを均一な保守主義で扱い、不必要に防御的な運転をもたらすか、あるいはプランナーへの影響を見積もることなく隠れた空間を推測する。 この研究は、ビジョン・ランゲージ・モデル(VLM)がエゴ・ビークルの軌道に最も重要な隠されたエージェントを特定し、推論できるようにすることによって、知覚と計画の間の重要なギャップを埋める。 我々は,情報理論の指標であるプランニングKL分割(PKL)を用いて,エゴ車両の計画に対する影響に基づいて,隠蔽エージェントを体系的に識別・ランク付けする新しい枠組みを提案する。 このプランニング対応ランキングを用いて、このタスクに必要な視覚的証拠と推論をキャプチャするリッチで構造化されたアノテーションを生成するために、専門家のVLM (GPT-5) を用いる。 このフレームワークをnuScenesデータセットに適用し、高インパクトシナリオに焦点を当てた新しいベンチマークを作成します。 汎用VLMとドメイン適応VLMの広範囲にわたる包括的実験を行い、PKL誘導データによる微調整が全モデルで劇的な性能向上をもたらすことを示した。 特に,より小型で微調整されたモデルの方がはるかに大きなゼロショットモデルよりも優れており,我々のPKL誘導データ選択戦略はランダムサンプリングよりも約30倍性能が向上することを示した。 我々の研究は、VLMを訓練するための最初の体系的なアプローチを示し、計画クリティカルな閉塞に焦点を当て、自律運転におけるよりセマンティックな基礎と効率的なリスクアセスメントを可能にします。

関連論文リスト

• DriveReward: A Comprehensive Dataset and Generative Vision-Language Reward Model for Autonomous Driving [17.749010844640388]
  リワードモデルは、自律運転のための強化学習(RL)とマルチモーダル軌道選択において重要な役割を果たす。 VLM(Vision-Language Models)は、他の領域における報酬モデルとして実現可能であるが、その運転タスクの有効性は未解明のままである。 DriveRewardは、時間的グラウンドの視覚的ガイダンスによって厳格にラベル付けされた推論軌道評価データセットである。
  論文  参考訳（メタデータ） (2026-06-07T09:05:49Z)
• Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance [108.46436073194546]
  効果的なプランニングは、ローカルで、視覚的に基礎があり、内部で生成され、アクションと直接整合するべきである、と私たちは主張する。 本稿では,タスク条件付きアベイランスをVLAモデル内で明示的な視覚的計画インターフェースとして内包する統合フレームワークであるAfford-VLAを提案する。
  論文  参考訳（メタデータ） (2026-05-22T20:43:47Z)
• Operating Within the Operational Design Domain: Zero-Shot Perception with Vision-Language Models [1.462945824459286]
  視覚言語モデル(VLM)は視覚認識と言語推論を統合し、タスク固有のトレーニングデータなしで機能する。 本研究は, 安全クリティカルなアプリケーションにおいて, 透過的かつ効果的なODDに基づく認識の道を開くものである。
  論文  参考訳（メタデータ） (2026-05-08T12:17:56Z)
• CogRail: Benchmarking VLMs in Cognitive Intrusion Perception for Intelligent Railway Transportation Systems [29.385460126069386]
  我々は、キュレートされたデータセットと認知駆動型質問応答アノテーションを統合した新しいベンチマーク、CogRailを紹介した。 このベンチマークに基づいて、我々は最先端のビジュアル言語モデルの体系的な評価を行う。 本稿では,3つの中核的タスク,位置知覚,移動予測,脅威分析を統合したファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-14T16:36:26Z)
• SGDrive: Scene-to-Goal Hierarchical World Cognition for Autonomous Driving [52.02379432801349]
  本稿では,運転特化知識階層に関するVLMの表現学習を構築する新しいフレームワークであるSGDriveを提案する。 トレーニング済みのVLMバックボーン上に構築されたSGDriveは、人間の運転認知を反映するシーンエージェントゴール階層に、駆動理解を分解する。
  論文  参考訳（メタデータ） (2026-01-09T08:55:42Z)
• RealDrive: Retrieval-Augmented Driving with Diffusion Models [42.6467760755688]
  学習ベースのプランナーは、データからのニュアンスなインタラクションを推論することを学ぶことによって、人間のような運転行動を生成する。 データ駆動型アプローチは、しばしば稀で安全クリティカルなシナリオと格闘し、生成された軌道に対して限定的な制御性を提供する。 本稿では,RealDriveを提案する。RealDriveは,トレーニングデータセットから最も関連性の高い専門家のデモンストレーションを検索することで,拡散ベースの計画ポリシーを初期化するフレームワークである。
  論文  参考訳（メタデータ） (2025-05-30T17:15:03Z)
• Plan-R1: Safe and Feasible Trajectory Planning as Language Modeling [74.41886258801209]
  本稿では,行動学習から原理的アライメントを分離する2段階の軌道計画フレームワークを提案する。 Plan-R1は計画の安全性と実現可能性を大幅に改善し、最先端の性能を達成する。
  論文  参考訳（メタデータ） (2025-05-23T09:22:19Z)
• Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [79.2162092822111]
  我々は,一連のナビゲーションタスクにおいて,強化学習(RL)と制御に基づく手法を体系的に評価する。 我々は、JEPA(Joint Embedding Predictive Architecture)を使用して、潜在ダイナミクスモデルを使用し、それを計画に使用します。 その結果,モデルベースプランニングではレイアウトが不明瞭になるのに対して,モデルフリーのRLは高品質なデータから恩恵を受けることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T18:39:41Z)
• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision [17.36342349850825]
  教師としての視覚言語モデル(VLM)は、追加の監督を提供することで訓練を強化する。 VLM-ADは、nuScenesデータセットの計画精度と衝突率の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-12-19T01:53:36Z)
• The efficacy of Neural Planning Metrics: A meta-analysis of PKL on nuScenes [77.83263286776938]
  自律運転(AD)における高性能物体検出システムの役割 通常、平均的精度で評価されるパフォーマンスは、シーン内のアクターの向きや距離を考慮していない。 近年、フィリオンらは、プランナーの軌道と基底経路のKL分散に基づく神経計画測度(PKL)を提案した。
  論文  参考訳（メタデータ） (2020-10-19T09:32:48Z)
• The Importance of Prior Knowledge in Precise Multimodal Prediction [71.74884391209955]
  道路にはよく定義された地形、地形、交通規則がある。 本稿では,構造的事前を損失関数として組み込むことを提案する。 実世界の自動運転データセットにおけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-04T03:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。