論文の概要: VideoSearch-R1: Iterative Video Retrieval and Reasoning via Soft Query Refinement
- arxiv url: http://arxiv.org/abs/2607.00446v1
- Date: Wed, 01 Jul 2026 04:59:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.723433
- Title: VideoSearch-R1: Iterative Video Retrieval and Reasoning via Soft Query Refinement
- Title（参考訳）: VideoSearch-R1: Soft Query Refinementによる反復的なビデオ検索と推論
- Abstract要約: VideoSearch-R1は、ビデオ検索エンジンとのマルチターンインタラクションによる反復的なビデオ検索と推論のためのエージェントフレームワークである。
VideoSearch-R1は、VCMR(Video Moment Retrieval)上の3つのデータセットにわたる最先端のパフォーマンスを実現する
- 参考スコア（独自算出の注目度）: 31.30208652334818
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As video corpora continue to expand in both scale and task complexity, there is increasing demand for approaches that retrieve relevant videos from large-scale corpora (inter-video reasoning) and subsequently perform fine-grained, query-conditioned tasks (intra-video reasoning) within the retrieved content, such as temporal grounding. However, existing approaches typically treat retrieval as a preprocessing step, and consequently, when the initial retrieval fails, there is no mechanism to refine the search, leading to the failure of subsequent fine-grained intra-video reasoning. Moreover, while recent agentic frameworks have advanced video understanding, they typically assume that the query-relevant video is already given, focusing exclusively on intra-video reasoning tasks. To address these limitations, we propose VideoSearch-R1, an agentic framework for iterative video retrieval and reasoning through multi-turn interaction with a video search engine. Specifically, we introduce Soft Query Refinement (SQR) to refine search query tokens in a continuous latent space rather than rewriting queries in the discrete text space, enabling more efficient and fine-grained adjustments. SQR and its reasoning process are trained using Group Relative Policy Optimization (GRPO), guided by task-level reward signals derived from retrieval and downstream tasks. Building upon this, VideoSearch-R1 achieves state-of-the-art performance across three datasets on Video Corpus Moment Retrieval (VCMR), iteratively retrieving videos from large-scale corpora, refining search queries, and performing precise query-conditioned temporal grounding within the retrieved content. Our analyses show that SQR effectively refines the original query, requiring significantly fewer generated tokens than explicit text-level query refinement. Code and model checkpoints are publicly available at mlvlab.github.io/VideoSearch-R1.
- Abstract（参考訳）: ビデオコーパスは、スケールとタスクの複雑さの両面で拡大し続けており、大規模なコーパス(動画間推論)から関連ビデオを取得し、その後、時間的グラウンドのような検索されたコンテンツ内で細粒度でクエリ条件のタスク(動画間推論)を実行するアプローチの需要が高まっている。
しかし、既存の手法では、検索を前処理のステップとして扱うことが多く、その結果、初期検索が失敗すると、検索を洗練するためのメカニズムが存在しないため、その後の微細なビデオ内推論が失敗する。
さらに、最近のエージェント的フレームワークは高度なビデオ理解を持っているが、一般的には、クエリ関連のビデオはすでに提供されており、ビデオ内の推論タスクにのみ焦点をあてていると仮定する。
これらの制約に対処するため,ビデオ検索エンジンとのマルチターンインタラクションによる反復的ビデオ検索と推論のためのエージェントフレームワークであるVideoSearch-R1を提案する。
具体的には、個別のテキスト空間でクエリを書き換えるのではなく、連続的な潜在空間で検索クエリトークンを洗練するために、Soft Query Refinement(SQR)を導入し、より効率的できめ細かな調整を可能にする。
SQRとその推論プロセスは、検索および下流タスクから導出されるタスクレベルの報酬信号によって導かれるグループ相対ポリシー最適化(GRPO)を用いて訓練される。
これに基づいて、VideoSearch-R1は、Video Corpus Moment Retrieval (VCMR)上の3つのデータセットで最先端のパフォーマンスを実現し、大規模コーパスからビデオを反復的に検索し、検索クエリを精査し、検索されたコンテンツ内で正確なクエリ条件の時間的グラウンドを実行する。
分析の結果、SQRは元のクエリを効果的に洗練し、明示的なテキストレベルのクエリ改善よりも生成トークンをはるかに少なくすることがわかった。
コードとモデルチェックポイントはmlvlab.github.io/VideoSearch-R1で公開されている。
関連論文リスト
- QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding [31.789999490173255]
ビデオ理解の重要な要素としてマルチモーダル検索が登場している。
既存のマルチモーダル検索手法は, 偏りのある関係推定, 限られた多様性, 時間的崩壊に悩まされている。
ビデオ検索における関連性,多様性,時間的モデリングに対処する統合フレームワークQSVideoを提案する。
論文 参考訳（メタデータ） (2026-07-06T00:19:42Z) - Fewer Steps, Better Performance: Efficient Cross-Modal Clip Trimming for Video Moment Retrieval Using Language [60.91064560080974]
本稿では,クエリ関連クリップをトリムするスポットVMRを提案する。
提案するSpotVMRは,最新のVMR手法の効率性を実現するプラグイン・アンド・プレイモジュールとして機能する。
論文 参考訳（メタデータ） (2026-05-28T11:42:28Z) - Video-BrowseComp: Benchmarking Agentic Video Research on Open Web [64.53060049124961]
Video-BrowseCompは、オープンウェブのエージェントによるビデオ推論に適した210の質問からなるベンチマークである。
これは時間的視覚的証拠に必須に依存しており、回答はテキスト検索のみでは導き出せないことを保証している。
初のオープンWebビデオ調査ベンチマークとして、Video-BrowseCompは、受動的知覚を越えて、プロアクティブなビデオ推論へと分野を前進させた。
論文 参考訳（メタデータ） (2025-12-28T19:08:27Z) - TimeSearch-R: Adaptive Temporal Search for Long-Form Video Understanding via Self-Verification Reinforcement Learning [30.895558843927862]
時間探索は、与えられたクエリに基づいて数万のフレームから最小限のフレームを識別することを目的としている。
TimeSearch-Rは、時間検索をインターリーブされたテキストビデオ思考として再構成する。
検索ビデオクリップを、強化学習による推論プロセスにシームレスに統合する。
論文 参考訳（メタデータ） (2025-11-07T18:58:25Z) - CoT-RVS: Zero-Shot Chain-of-Thought Reasoning Segmentation for Videos [59.391265901911005]
本稿では,MLLMのゼロショット・チェーン・オブ・ソート(CoT)機能を利用して,時間-意味的推論による複雑な問題に対処する新しいフレームワークであるCoT-RVSを提案する。
CoT-RVSは、言語クエリ(セマンティック)にマッチする可能性のある特定のフレーム内の可視オブジェクトを分析し、すべてのフレーム(一時)の中で、懸命に観察できる各オブジェクトに対して対応するオブジェクトを選択する。
当社のフレームワークのトレーニングフリー機能は,テスト時にCoTを使用して,よりよいターゲットが出現し始めると関心の対象を更新するオンラインビデオストリーム処理の拡張も可能にしています。
論文 参考訳（メタデータ） (2025-05-24T07:01:31Z) - A Flexible and Scalable Framework for Video Moment Search [51.47907684209207]
本稿では,テキストクエリにマッチする任意の長さの動画のコレクションからランク付けされたモーメントのリストを取得するためのフレキシブルなフレームワークを提案する。
SPR(Segment-Proposal-Ranking)と呼ばれる我々のフレームワークは,探索プロセスを,セグメント検索,提案生成,モーメント改善という3つの独立した段階に単純化する。
TVR-Rankingデータセットの評価から,我々のフレームワークは,計算コストと処理時間を大幅に削減して最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2025-01-09T08:54:19Z) - Query-centric Audio-Visual Cognition Network for Moment Retrieval, Segmentation and Step-Captioning [56.873534081386]
ビデオ検索、モーメント検索、モーメントセグメンテーション、ステップキャプションを含む新しいトピックHIRESTが紹介されている。
3つのタスクに対して信頼性の高いマルチモーダル表現を構築するために,クエリ中心の音声視覚認知ネットワークを提案する。
これにより、ユーザが優先するコンテンツを認識し、3つのタスクに対してクエリ中心の音声視覚表現を実現することができる。
論文 参考訳（メタデータ） (2024-12-18T06:43:06Z) - Bridging Information Asymmetry in Text-video Retrieval: A Data-centric Approach [56.610806615527885]
テキストビデオ検索(TVR)における重要な課題は、ビデオとテキスト間の情報非対称性である。
本稿では,このギャップを埋めるために,テキスト表現を豊かにすることで,映像コンテンツの豊かさに合わせたデータ中心のフレームワークを提案する。
本稿では,最も関連性が高く多様なクエリを識別し,計算コストを低減し,精度を向上するクエリ選択機構を提案する。
論文 参考訳（メタデータ） (2024-08-14T01:24:09Z) - Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。
我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。
ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。
そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
論文 参考訳（メタデータ） (2024-02-21T07:16:06Z) - Zero-shot Audio Topic Reranking using Large Language Models [42.774019015099704]
実例によるマルチモーダルビデオ検索 (MVSE) では, ビデオクリップを情報検索の問合せ語として利用する。
本研究の目的は,この高速アーカイブ検索による性能損失を,再ランク付け手法を検証することによって補償することである。
パブリックなビデオアーカイブであるBBC Rewind corpusでトピックベースの検索のパフォーマンスを評価する。
論文 参考訳（メタデータ） (2023-09-14T11:13:36Z) - Tree-Augmented Cross-Modal Encoding for Complex-Query Video Retrieval [98.62404433761432]
インターネット上のユーザ生成ビデオの急速な増加により、テキストベースのビデオ検索システムの必要性が高まっている。
従来の手法は主に単純なクエリによる検索における概念に基づくパラダイムを好んでいる。
木を増設したクロスモーダルを提案する。
クエリの言語構造とビデオの時間表現を共同で学習する手法。
論文 参考訳（メタデータ） (2020-07-06T02:50:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。