論文の概要: iFinder: Structured Zero-Shot Vision-Based LLM Grounding for Dash-Cam Video Reasoning

• arxiv url: http://arxiv.org/abs/2509.19552v2
• Date: Wed, 01 Oct 2025 06:54:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 17:16:29.748822
• Title: iFinder: Structured Zero-Shot Vision-Based LLM Grounding for Dash-Cam Video Reasoning
• Title（参考訳）: iFinder:Dash-Camビデオ再生のためのゼロショット・ビジョンベースのLLMグラウンド
• Authors: Manyi Yao, Bingbing Zhuang, Sparsh Garg, Amit Roy-Chowdhury, Christian Shelton, Manmohan Chandraker, Abhishek Aich,
• Abstract要約: iFinderは、ダッシュカムのビデオを大規模な言語モデルのための階層的で解釈可能なデータ構造に変換するセマンティックグラウンドディングフレームワークである。 iFinderはトレーニング不要のパイプラインとして動作し、トレーニング済みの視覚モデルを使用して重要な手がかりを抽出する。 これは、4つのゼロショット駆動ベンチマークにおいて、エンドツーエンドのV-VLMよりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 51.15353027471834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grounding large language models (LLMs) in domain-specific tasks like post-hoc dash-cam driving video analysis is challenging due to their general-purpose training and lack of structured inductive biases. As vision is often the sole modality available for such analysis (i.e., no LiDAR, GPS, etc.), existing video-based vision-language models (V-VLMs) struggle with spatial reasoning, causal inference, and explainability of events in the input video. To this end, we introduce iFinder, a structured semantic grounding framework that decouples perception from reasoning by translating dash-cam videos into a hierarchical, interpretable data structure for LLMs. iFinder operates as a modular, training-free pipeline that employs pretrained vision models to extract critical cues -- object pose, lane positions, and object trajectories -- which are hierarchically organized into frame- and video-level structures. Combined with a three-block prompting strategy, it enables step-wise, grounded reasoning for the LLM to refine a peer V-VLM's outputs and provide accurate reasoning. Evaluations on four public dash-cam video benchmarks show that iFinder's proposed grounding with domain-specific cues, especially object orientation and global context, significantly outperforms end-to-end V-VLMs on four zero-shot driving benchmarks, with up to 39% gains in accident reasoning accuracy. By grounding LLMs with driving domain-specific representations, iFinder offers a zero-shot, interpretable, and reliable alternative to end-to-end V-VLMs for post-hoc driving video understanding.
• Abstract（参考訳）: 大規模言語モデル(LLM)を、ポストホックダッシュカメラ駆動ビデオ分析のようなドメイン固有のタスクでグラウンディングすることは、汎用的なトレーニングと構造的帰納バイアスの欠如により困難である。 視覚はそのような分析のために利用可能な唯一のモダリティ(LiDAR、GPSなど)であるため、既存のビデオベースの視覚言語モデル(V-VLM)は、入力ビデオにおける事象の空間的推論、因果推論、説明可能性に苦しむ。 そこで本研究では,ダッシュカムビデオからLLMの階層的・解釈可能なデータ構造への変換により,認識を推論から切り離す構造的セマンティックグラウンドディングフレームワークiFinderを紹介する。 iFinderは、事前訓練されたビジョンモデルを使用して、階層的にフレームとビデオレベルの構造に組織された、重要なキュー(オブジェクトポーズ、車線位置、オブジェクト軌跡)を抽出するモジュラーでトレーニング不要なパイプラインとして運用されている。 3ブロックプロンプト戦略と組み合わせて、LLMがピアV-VLMの出力を洗練し、正確な推論を行うためのステップワイズな基底推論を可能にする。 4つのパブリックダッシュカムビデオベンチマークの評価によると、iFinderが提案しているドメイン固有のキュー、特にオブジェクト指向とグローバルコンテキストは、4つのゼロショット駆動ベンチマークでエンドツーエンドのV-VLMよりも大幅に優れており、事故推論精度は最大で39%向上している。 ドメイン固有の表現を駆動することで、iFinderはゼロショット、解釈可能、信頼性の高いV-VLMの代替手段を提供する。

関連論文リスト

• VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM [81.15525024145697]
  ビデオ大言語モデル (Video Large Language Models, ビデオLLM) は近年, 一般的なビデオ理解において顕著な能力を示した。 しかし、それらは主に全体論的理解に焦点を当て、きめ細かい空間的・時間的詳細を捉えるのに苦労している。 我々は,高精細度空間時間映像理解のためのビデオLLMを実現するために,VideoRefer Suiteを導入した。
  論文  参考訳（メタデータ） (2024-12-31T18:56:46Z)
• Harnessing Large Language Models for Training-free Video Anomaly Detection [34.76811491190446]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を時間的に検出することを目的としている。 トレーニングベースのメソッドはドメイン固有のものになりがちなので、実践的なデプロイメントにはコストがかかる。 Language-based VAD (LAVAD)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T09:34:55Z)
• Understanding Long Videos with Multimodal Language Models [44.78900245769057]
  LLM(Large Language Models)は、長いビデオ理解ベンチマークにおいて優れたパフォーマンスを達成するために、最近のアプローチを可能にしている。 本研究では,LLMの広範な世界知識と強力な推論能力が,この強みにどのように影響するかを考察する。 得られたマルチモーダルビデオ理解フレームワークは、複数のビデオ理解ベンチマークで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-03-25T17:59:09Z)
• DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language Models (Exemplified as A Video Agent) [73.10899129264375]
  本稿では,LLMによる動的シーン理解のための包括的かつ概念的にエレガントなシステムであるドラモンGPTについて検討する。 質問/タスクのあるビデオが与えられた場合、DoraemonGPTは入力されたビデオをタスク関連の属性を格納するシンボリックメモリに変換することから始める。 我々は,DoraemonGPTの有効性を,3つのベンチマークといくつかのアプリ内シナリオで広範囲に評価した。
  論文  参考訳（メタデータ） (2024-01-16T14:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。