論文の概要: QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding
- arxiv url: http://arxiv.org/abs/2607.04559v1
- Date: Mon, 06 Jul 2026 00:19:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.979919
- Title: QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding
- Title（参考訳）: QSVideo: ビデオ理解のための問合せ型セマンティック時間検索
- Authors: Wei Ao, Lan Wang, Vishnu Naresh Boddeti,
- Abstract要約: ビデオ理解の重要な要素としてマルチモーダル検索が登場している。
既存のマルチモーダル検索手法は, 偏りのある関係推定, 限られた多様性, 時間的崩壊に悩まされている。
ビデオ検索における関連性,多様性,時間的モデリングに対処する統合フレームワークQSVideoを提案する。
- 参考スコア（独自算出の注目度）: 31.789999490173255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The performance of vision-language models (VLMs) in video understanding declines with increasing video duration, as video moments unrelated to the query confuse their language components. Multimodal retrieval has emerged as a critical component of video understanding, addressing this challenge by localizing key visual evidence. However, existing multimodal retrieval methods suffer from biased relevance estimation, limited diversity, and temporal collapse. In this paper, we propose QSVideo, a unified framework that systematically addresses relevance, diversity, and temporal modeling in video retrieval. We first introduce a query-conditioned semantic ranker, QSRanker, which reformulates arbitrary questions into retrieval-friendly queries and estimates structured relevance along object, action, and location dimensions. Building upon this, we design QSRetrieval to jointly optimize relevance and diversity for more informative frame selection. Moreover, we propose temporal alignment strategies tailored for both long and streaming videos to improve evidence recall. Extensive experiments on long and streaming video benchmarks demonstrate that QSVideo greatly enhances video VLM performance under strict frame limit constraints. The code is available at https://github.com/human-analysis/QSVideo.
- Abstract（参考訳）: ビデオ理解における視覚言語モデル(VLM)の性能は,クエリと無関係な映像モーメントが言語コンポーネントを混乱させるにつれて低下する。
マルチモーダル検索はビデオ理解の重要な要素として現れており、重要な視覚的証拠をローカライズすることでこの問題に対処している。
しかし,既存のマルチモーダル検索手法は,関連性評価,多様性の制限,時間的崩壊に悩まされている。
本稿では,ビデオ検索における関連性,多様性,時間的モデリングを体系的に扱う統合フレームワークQSVideoを提案する。
まず、クエリ条件付きセマンティックローカ、QSRankerを紹介し、任意の質問を検索フレンドリーなクエリに再構成し、オブジェクト、アクション、位置次元に沿って構造化された関連性を推定する。
これに基づいて、より情報的なフレーム選択のために、関連性と多様性を協調的に最適化するQSRetrievalを設計する。
また,証拠リコールを改善するために,長大ビデオとストリーミングビデオの両方に適した時間的アライメント戦略を提案する。
QSVideoはフレーム制限の厳しい条件下でビデオVLM性能を大幅に向上することを示す。
コードはhttps://github.com/ Human-analysis/QSVideoで公開されている。
関連論文リスト
- QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding [78.36929439152566]
本稿では,長いビデオからコンパクトだが情報に富んだフレームを選択可能なクエリ・アンド・コンテント・アウェア(QCA)選択フレームワークを提案する。
QCAは最もクエリ関連性の高いフレームにアンカーし、クエリのセマンティックな関連性を維持しながら、多様性を最大化するために追加のフレームを反復的に組み込む。
我々の方法は追加のトレーニングを必要とせず、既存のVideo-LLMにシームレスに統合できる。
論文 参考訳（メタデータ） (2026-07-01T14:19:24Z) - VideoSearch-R1: Iterative Video Retrieval and Reasoning via Soft Query Refinement [31.30208652334818]
VideoSearch-R1は、ビデオ検索エンジンとのマルチターンインタラクションによる反復的なビデオ検索と推論のためのエージェントフレームワークである。
VideoSearch-R1は、VCMR(Video Moment Retrieval)上の3つのデータセットにわたる最先端のパフォーマンスを実現する
論文 参考訳（メタデータ） (2026-07-01T04:59:24Z) - Fewer Steps, Better Performance: Efficient Cross-Modal Clip Trimming for Video Moment Retrieval Using Language [60.91064560080974]
本稿では,クエリ関連クリップをトリムするスポットVMRを提案する。
提案するSpotVMRは,最新のVMR手法の効率性を実現するプラグイン・アンド・プレイモジュールとして機能する。
論文 参考訳（メタデータ） (2026-05-28T11:42:28Z) - Tempo-R0: A Video-MLLM for Temporal Video Grounding through Efficient Temporal Sensing Reinforcement Learning [6.9627404612894335]
時間的ビデオグラウンド(TVG)は、言語クエリに基づいて、ビデオから関連する時間的セグメントをピンポイントする必要がある。
本稿では,時間的ビデオグラウンド処理のためのビデオマルチモーダル大言語モデルであるTempo-R0を提案する。
本手法は,元のQVHighlightsテストベンチの約3.5%でSOTAソリューションに対する顕著な優位性を実現する。
論文 参考訳（メタデータ） (2025-07-07T06:51:40Z) - Universal Video Temporal Grounding with Generative Multi-modal Large Language Models [59.781211641591405]
本稿では,自然言語クエリに基づいて映像中の時間的モーメントを正確に局所化する,ユニバーサルビデオ時間的グラウンドの計算モデルを提案する。
生成型マルチモーダル大言語モデル(MLLM)の強力な視覚言語理解機能を活用した,堅牢で普遍的なビデオグラウンドモデルUniTimeを提案する。
我々のモデルは、複雑な言語クエリを解釈しながら、多様なビュー、ジャンル、長さの動画を効果的に処理する。
論文 参考訳（メタデータ） (2025-06-23T17:53:18Z) - Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding [60.88843818016968]
長時間のビデオ理解は時間空間の複雑さと質問応答の難しさによって大きな課題を呈する。
セグメント化されたビデオクリップ上でのエージェント検索戦略を活用するために,Deep Video Discovery (DVD) エージェントを提案する。
当社のDVDエージェントは,LVBenchデータセット上での最先端性能を実現し,74.2%の精度を実現した。
論文 参考訳（メタデータ） (2025-05-23T16:37:36Z) - Perceive, Query & Reason: Enhancing Video QA with Question-Guided Temporal Queries [50.47265863322891]
Video Question Answering (ビデオQA)は、ビデオ全体を理解するためにモデルを必要とする、難しいビデオ理解タスクである。
近年のMLLM(Multimodal Large Language Models)の進歩は,ビデオQAに特有なコモンセンス推論機能を活用して変化している。
本稿では,フレーム単位の視覚知覚とLCMの推論能力の間に疑問を導いた時間的ブリッジを生成する,新しい時間的モデリング手法であるT-Formerを提案する。
論文 参考訳（メタデータ） (2024-12-26T17:53:14Z) - QD-VMR: Query Debiasing with Contextual Understanding Enhancement for Video Moment Retrieval [7.313447367245476]
Video Moment Retrieval (VMR) は、クエリに対応する未トリミングビデオの関連モーメントを検索することを目的としている。
本稿では,文脈理解度を高めたクエリデバイアスモデルであるQD-VMRを提案する。
論文 参考訳（メタデータ） (2024-08-23T10:56:42Z) - Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである
合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。
我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
論文 参考訳（メタデータ） (2024-06-13T17:50:05Z) - Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。
我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。
ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。
そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
論文 参考訳（メタデータ） (2024-02-21T07:16:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。