論文の概要: DiffGround: Semantic Difference-Guided Zero-Shot Video Question Grounding
- arxiv url: http://arxiv.org/abs/2610.25570v1
- Date: Sun, 18 Oct 2026 22:17:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 13:25:15.917878
- Title: DiffGround: Semantic Difference-Guided Zero-Shot Video Question Grounding
- Title(参考訳): DiffGround: セマンティックな差分ガイドによるゼロショットビデオ質問の根拠
- Abstract要約: Video Question Grounding (VideoQG)は、正確な質問応答と正確な時間的局所化の両方を必要とする。
フリーズしたマルチモーダル大規模言語モデル(MLLM)上に構築されたアクション駆動型ゼロショットフレームワークであるDiffGroundを提案する。
NExT-GQAとSTARの実験により、DiffGroundは既存のゼロショット法と教師あり法を一貫して上回っていることが示された。
- 参考スコア(独自算出の注目度): 17.187659358638644
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video Question Grounding (VideoQG) requires both accurate question answering and precise temporal localization. Existing supervised methods rely on costly temporal annotations, while existing zero-shot approaches are primarily designed for Video Question Answering (VQA) and are not optimized for temporal grounding. We propose DiffGround, an action-driven zero-shot framework built upon frozen Multimodal Large Language Models (MLLMs). Our framework first predicts an answer-relevant action cue that transforms the input question into an explicit semantic target for grounding. Action Cue converts a reasoningoriented question into an action-centric retrieval query. Guided by the action cue, a Vision-Language Model (VLM) efficiently selects informative keyframes for reasoning. Finally, we introduce Semantic Diff Refinement, a training-free temporal refinement method that exploits semantic differences between neighboring SigLIP2 embeddings to recover complete action segments from sparse predictions. Extensive experiments on NExT-GQA and STAR show that DiffGround consistently outperforms existing zero-shot and supervised methods, establishing a new state of the art for Video Question Grounding.
- Abstract(参考訳): Video Question Grounding (VideoQG)は、正確な質問応答と正確な時間的局所化の両方を必要とする。
既存の教師付き手法は時間的アノテーションに頼っているが、既存のゼロショットアプローチは主にビデオ質問回答(VQA)用に設計されており、時間的グラウンドに最適化されていない。
DiffGroundは、フリーズしたマルチモーダル大規模言語モデル(MLLM)上に構築されたアクション駆動型ゼロショットフレームワークである。
我々のフレームワークはまず,入力された質問をグラウンド化するための明示的なセマンティックターゲットに変換する応答関連アクションキューを予測する。
Action Cueは、推論指向の質問をアクション中心の検索クエリに変換する。
アクションキューによってガイドされるビジョンランゲージモデル(VLM)は、推論のための情報的キーフレームを効率的に選択する。
最後に,SigLIP2埋め込みのセマンティック・ディフ・リファインメント(Semantic Diff Refinement)を提案する。
NExT-GQAとSTARの大規模な実験により、DiffGroundは既存のゼロショットと教師ありの手法を一貫して上回り、ビデオ質問場のための新しい最先端技術を確立した。
関連論文リスト
- What You Ask is What You Ground: Bridging Question Intent to Temporal Evidence for Grounded VideoQA [17.77550360283809]
地上ビデオ質問応答における批判的かつ見落とされがちな障害モードについて検討する。
そこで本研究では,ローカライゼーション前の質問意図に基づいて映像特徴を調停するGroundFormerを提案する。
GroundFormerは、NExT-GQAおよびSTAR上で、最先端の地上ビデオQA性能を実現する。
論文 参考訳(メタデータ) (2026-08-16T12:24:21Z) - Glance, Scrutinize, and Think: Advancing Video Anomaly Detection from Training-Free to Agentic Reasoning [27.676141768874732]
ビデオ異常検出(VAD)は、異常事象を特定し、時間間隔をローカライズすることを目的としている。
従来の手法は異常が発生した時に局所化するが、意味的な理解が欠如している。
Glance then Scrutinize (GtS) は静的および動的テキストガイダンスを用いたトレーニング不要のフレームワークである。
実験の結果、GtSはトレーニング不要のベースラインを大幅に超え、エージェントモデルは高い精度と高速な推論を提供することがわかった。
論文 参考訳(メタデータ) (2026-08-07T17:07:49Z) - A Unified Reasoning Framework for Holistic Zero-Shot Video Anomaly Analysis [64.42659342276117]
ビデオの異常な研究のほとんどは、フレームワイド検出で停止し、なぜイベントが異常なのかについての洞察はほとんど得られない。
近年の動画の局所化と映像の異常理解手法は、説明可能性を改善するが、データに依存し、タスク固有のままである。
本稿では,時間的検出,空間的局所化,テキスト的説明のギャップを埋める統一的推論フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-02T14:49:08Z) - Enrich and Detect: Video Temporal Grounding with Multimodal LLMs [60.224522472631776]
ED-VTGは,マルチモーダルな大言語モデルを用いた微細なビデオ時間的グラウンド化手法である。
提案手法は,テキストと動画を共同処理するマルチモーダルLLMの機能を利用する。
我々は,時間的ビデオグラウンドと段落グラウンドの設定において,様々なベンチマークにおいて最先端の結果を示す。
論文 参考訳(メタデータ) (2025-10-19T22:12:45Z) - Siamese Learning with Joint Alignment and Regression for Weakly-Supervised Video Paragraph Grounding [70.31050639330603]
ビデオ段落の接頭辞は、意味的関係と時間的順序を持つ複数の文を、トリミングされていないビデオからローカライズすることを目的としている。
既存のVPGアプローチは、かなりの数の時間ラベルに大きく依存している。
我々は、時間的アノテーションの必要性を排除するために、Wakly-Supervised Video paragraph Grounding (WSVPG)を導入し、探索する。
論文 参考訳(メタデータ) (2024-03-18T04:30:31Z) - Transform-Equivariant Consistency Learning for Temporal Sentence
Grounding [66.10949751429781]
ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。
私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。
特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
論文 参考訳(メタデータ) (2023-05-06T19:29:28Z) - Locate before Answering: Answer Guided Question Localization for Video
Question Answering [70.38700123685143]
LocAnsは質問ロケータと回答予測器をエンドツーエンドモデルに統合する。
最新の2つのビデオQAデータセットで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-10-05T08:19:16Z) - End-to-End Dense Video Grounding via Parallel Regression [30.984657885692553]
ビデオグラウンドイングは、言語クエリが与えられた未トリミングビデオに対応するビデオモーメントをローカライズすることを目的としている。
本稿では,Transformer-alike Architecture (PRVG) を再構成することで,エンドツーエンドの並列デコーディングパラダイムを提案する。
設計の単純さのおかげで、私たちのPRVGフレームワークは異なるテストスキームに適用できます。
論文 参考訳(メタデータ) (2021-09-23T10:03:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。