論文の概要: Beyond Similarity: Foundation Models as an Efficient Backbone for Training-Free Composed Video Retrieval

• arxiv url: http://arxiv.org/abs/2609.10008v1
• Date: Wed, 09 Sep 2026 10:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.991956
• Title: Beyond Similarity: Foundation Models as an Efficient Backbone for Training-Free Composed Video Retrieval
• Title（参考訳）: 類似性を超えて: 学習不要なビデオ検索のための効果的なバックボーンとしてのファンデーションモデル
• Abstract要約: 合成ビデオ検索(CoVR)は、ソースクリップの自然言語変換を実現するターゲットビデオのギャラリーを検索する。 そこで本研究では,解析困難度に適応した推論深度を用いて,凍結基礎モデルが相補的な役割を担うことを提案する。 本手法は,WebVid-CoVR上での89.55および93.43R@1,CoVR-Rで,最先端の手法で実現した。
• 参考スコア（独自算出の注目度）: 10.716619269996677
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Composed video retrieval (CoVR) searches a gallery for the target video that realizes a natural-language modification of a source clip. However, at gallery scale, this creates a fundamental tension: compact embeddings enable efficient, reusable search but can miss the transient actions, state changes, and subtle constraints that demand fine-grained video reasoning, whereas applying large multimodal models uniformly sacrifices scalability. To address these limitations, we propose that frozen foundation models should instead occupy complementary roles, with inference depth adapted to query difficulty. Based on this premise, we introduce \methodname{}, a framework for training-free \methodexpansion{}. Specifically, a composed-query embedding first searches reusable video-only gallery representations; uncertain queries undergo bounded reranking and candidate expansion; ambiguous edits trigger target-description generation; and only close leading candidates reach multimodal verification. To support these roles, frame selection, spatial resolution, and time cues are adapted to each stage. Across complete target-gallery evaluations, our method reaches state-of-the-art performance among training-free approaches, with 89.55 and 93.43 R@1 on Dense-WebVid-CoVR and CoVR-R, respectively (with more than +35\% and +25\% absolute margins to the closest counterpart). These results show that adaptively orchestrating foundation-model capabilities can combine scalable retrieval with fine-grained reasoning without task-specific training. The source code and all relevant guidelines are available on https://github.com/demidovd98/CoVRAGE.
• Abstract（参考訳）: 合成ビデオ検索(CoVR)は、ソースクリップの自然言語変換を実現するターゲットビデオのギャラリーを検索する。 しかし、ギャラリー規模では、これは根本的な緊張を生み出す: コンパクトな埋め込みは効率的で再利用可能な検索を可能にするが、過渡的なアクション、状態変化、微妙な制約を見逃しかねない。 これらの制約に対処するため,凍結基礎モデルでは補完的な役割を担い,推論深度はクエリの難易度に適応することが提案されている。 この前提に基づいて、トレーニングフリーな \methodexpansion{} のフレームワークである \methodname{} を紹介する。 具体的には、合成クエリが最初に再利用可能なビデオのみのギャラリー表現を検索し、不確実なクエリが境界付けされたリランクと候補拡張を実行し、曖昧な編集がターゲット記述生成をトリガーし、クローズドトップ候補のみがマルチモーダル検証に到達する。 これらの役割をサポートするために、フレーム選択、空間分解能、時間キューが各ステージに適合する。 Dense-WebVid-CoVR では 89.55 と 93.43 R@1 が,CoVR-R では+35\% 以上,+25\% が与えられた。 これらの結果から,タスク固有の訓練を使わずに,スケーラブルな検索ときめ細かな推論を適応的に行うことが可能であることが示唆された。 ソースコードと関連するガイドラインはhttps://github.com/demidovd98/CoVRAGE.comで公開されている。

関連論文リスト

• A Paradigm Shift: Fully End-to-End Training for Temporal Sentence Grounding in Videos [27.879461637513984]
  ビデオの時間文グラウンド(TSGV)は、非トリミングビデオからの文クエリに意味的に対応する時間セグメントをローカライズすることを目的としている。 現在のほとんどの手法では、オフライン機能抽出のために事前訓練されたクエリ非依存のビジュアルエンコーダを採用しており、ビデオバックボーンは凍結されており、TSGVに最適化されていない。 本稿では,ビデオバックボーンとローカライゼーションヘッドを協調的に最適化する,完全なエンドツーエンドパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-04-03T08:26:12Z)
• GMMFormer: Gaussian-Mixture-Model Based Transformer for Efficient Partially Relevant Video Retrieval [59.47258928867802]
  テキストクエリーが与えられた場合、部分関連ビデオ検索(PRVR)はデータベースに関連する瞬間を含むビデオを探し出そうとする。 本稿では,GMMFormerを提案する。GMMFormerはガウス・ミクチャーモデルに基づくトランスフォーマーで,クリップ表現を暗黙的にモデル化する。 3つの大規模ビデオデータセットの実験は、GMMFormerの優位性と効率を実証している。
  論文  参考訳（メタデータ） (2023-10-08T15:04:50Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• DiffusionRet: Generative Text-Video Retrieval with Diffusion Model [56.03464169048182]
  既存のテキストビデオ検索ソリューションは、条件付き可能性、すなわちp(candidates|query)の最大化に焦点を当てている。 我々は、このタスクを生成的視点から創造的に取り組み、テキストとビデオの相関関係を共同確率p(candidates,query)としてモデル化する。 これは拡散に基づくテキストビデオ検索フレームワーク(DiffusionRet)によって実現され、ノイズから徐々に関節分布を生成するプロセスとして検索タスクをモデル化する。
  論文  参考訳（メタデータ） (2023-03-17T10:07:19Z)
• UATVR: Uncertainty-Adaptive Text-Video Retrieval [90.8952122146241]
  一般的なプラクティスは、テキストとビデオのペアを同じ埋め込みスペースに転送し、特定のエンティティとのクロスモーダルなインタラクションを構築することである。 UATVRと呼ばれる不確実性言語によるテキスト・ビデオ検索手法を提案し、各ルックアップを分布マッチング手順としてモデル化する。
  論文  参考訳（メタデータ） (2023-01-16T08:43:17Z)
• Deep Model Reassembly [60.6531819328247]
  我々はDeep Model Reassembly(DeRy)と呼ばれる新しい知識伝達タスクを探索する。 DeRyの目標は、まず各モデルを固有のビルディングブロックに分割し、それから派生したブロックを選択的に再組み立てて、カスタマイズされたネットワークを生成することである。 ImageNetでは、最高の再組み立てモデルは微調整なしで78.6%のトップ1の精度を実現している。
  論文  参考訳（メタデータ） (2022-10-24T10:16:13Z)
• Learning Salient Boundary Feature for Anchor-free Temporal Action Localization [81.55295042558409]
  時間的行動のローカライゼーションはビデオ理解において重要な課題である。 純粋にアンカーフリーな時間的定位法を初めて提案する。 このモデルには,(i)エンドツーエンドのトレーニング可能な基本予測器,(ii)サリエンシベースのリファインメントモジュール,(iii)いくつかの一貫性制約が含まれている。
  論文  参考訳（メタデータ） (2021-03-24T12:28:32Z)
• Frame-wise Cross-modal Matching for Video Moment Retrieval [32.68921139236391]
  ビデオモーメント検索は、与えられた言語クエリのためにビデオ中の瞬間を検索するターゲットである。 本課題は,1)未編集ビデオにおける関連モーメントのローカライズの必要性,2)テキストクエリとビデオコンテンツ間のセマンティックなギャップを埋めることである。 本稿では,対話モデルに基づいて時間境界を予測できる注意的相互関連マッチングモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-22T10:25:41Z)
• Perceptron Synthesis Network: Rethinking the Action Scale Variances in Videos [48.57686258913474]
  ビデオアクション認識は、固定サイズの3Dカーネルを積み重ねたCNNによって部分的に解決されている。 データから最適なスケールのカーネルを学習することを提案する。 固定サイズのカーネルの袋からカーネルを生成するために,テキスト分割パーセプトロンシンセサイザーを提案する。
  論文  参考訳（メタデータ） (2020-07-22T14:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。