論文の概要: VideoDetective: Clue Hunting via both Extrinsic Query and Intrinsic Relevance for Long Video Understanding

• arxiv url: http://arxiv.org/abs/2603.22285v1
• Date: Mon, 23 Mar 2026 17:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.845052
• Title: VideoDetective: Clue Hunting via both Extrinsic Query and Intrinsic Relevance for Long Video Understanding
• Title（参考訳）: VideoDetective:ロングビデオ理解のための外部クエリと内在的関連性の両方によるクローズハンティング
• Authors: Ruoliu Yang, Chu Wu, Caifeng Shan, Ran He, Chaoyou Fu,
• Abstract要約: VideoDetectiveは、長いビデオ質問応答において効果的な手がかり探しのために、クエリ・ツー・セグメンテーションの関連性とセグメンション間の親和性を統合するフレームワークである。 提案手法は,ビデオMME-longで最大7.5%の精度向上を実現し,MLLMの多種多様な性能向上を実現している。
• 参考スコア（独自算出の注目度）: 40.699624658181456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long video understanding remains challenging for multimodal large language models (MLLMs) due to limited context windows, which necessitate identifying sparse query-relevant video segments. However, existing methods predominantly localize clues based solely on the query, overlooking the video's intrinsic structure and varying relevance across segments. To address this, we propose VideoDetective, a framework that integrates query-to-segment relevance and inter-segment affinity for effective clue hunting in long-video question answering. Specifically, we divide a video into various segments and represent them as a visual-temporal affinity graph built from visual similarity and temporal proximity. We then perform a Hypothesis-Verification-Refinement loop to estimate relevance scores of observed segments to the query and propagate them to unseen segments, yielding a global relevance distribution that guides the localization of the most critical segments for final answering with sparse observation. Experiments show our method consistently achieves substantial gains across a wide range of mainstream MLLMs on representative benchmarks, with accuracy improvements of up to 7.5% on VideoMME-long. Our code is available at https://videodetective.github.io/
• Abstract（参考訳）: マルチモーダルな大言語モデル (MLLM) では、検索関連ビデオセグメントの少ない特定を必要とするコンテキストウィンドウが限られているため、長いビデオ理解は依然として困難である。 しかし、既存の手法は主にクエリーのみに基づく手がかりをローカライズし、ビデオの本質的な構造とセグメント間の関連性を見渡す。 これを解決するために,長いビデオ質問応答における効果的な手がかり探索のためのクエリ・ツー・セグメンテーションの妥当性とセグメンテーション間の親和性を統合するフレームワークであるVideoDetectiveを提案する。 具体的には、映像を様々なセグメントに分割し、視覚的類似性と時間的近接性から構築された視覚的時間的親和性グラフとして表現する。 そこで我々は,観測されたセグメントの関連点を問合せに推定し,その関連点を未知のセグメントに伝達する仮説検証補正ループを実施し,各セグメントの局所化を導出するグローバルな関連度分布を導出する。 実験の結果,ビデオMME-longでは最大7.5%の精度向上が得られた。 私たちのコードはhttps://videodetective.github.io/で公開されています。

関連論文リスト

• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)
• CoT-RVS: Zero-Shot Chain-of-Thought Reasoning Segmentation for Videos [59.391265901911005]
  本稿では,MLLMのゼロショット・チェーン・オブ・ソート(CoT)機能を利用して,時間-意味的推論による複雑な問題に対処する新しいフレームワークであるCoT-RVSを提案する。 CoT-RVSは、言語クエリ(セマンティック)にマッチする可能性のある特定のフレーム内の可視オブジェクトを分析し、すべてのフレーム(一時)の中で、懸命に観察できる各オブジェクトに対して対応するオブジェクトを選択する。 当社のフレームワークのトレーニングフリー機能は,テスト時にCoTを使用して,よりよいターゲットが出現し始めると関心の対象を更新するオンラインビデオストリーム処理の拡張も可能にしています。
  論文  参考訳（メタデータ） (2025-05-24T07:01:31Z)
• ViLLa: Video Reasoning Segmentation with Large Language Model [48.75470418596875]
  ViLLa: 大規模言語モデルを用いたビデオ推論セグメンテーションを提案する。 ViLLaは、複数のコアイノベーションを通じて、これらの課題に対処しています。 長ビデオの効率的な処理を可能にするために、Villaは(3)長ビデオを短いが意味的に密度の高いセグメントに適応的に分割し、冗長性を低下させるキーセグメントサンプリングを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:17Z)
• A Hierarchical Multi-Modal Encoder for Moment Localization in Video Corpus [31.387948069111893]
  テキストクエリにセマンティックにマッチする長いビデオにおいて、短いセグメントを識別する方法を示す。 この問題に対処するために、粗いクリップレベルと微調整フレームレベルの両方でビデオをエンコードするHierArchical Multi-Modal EncodeR (HAMMER)を提案する。 我々は、ActivityNet CaptionsとTVRデータセット上のビデオコーパスにおけるモーメントローカライゼーションのモデルを評価するために、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2020-11-18T02:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。