論文の概要: VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
- arxiv url: http://arxiv.org/abs/2610.11850v2
- Date: Mon, 12 Oct 2026 10:42:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-14 23:39:49.809382
- Title: VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
- Title(参考訳): VEDJE: スケーラブルなビデオテキスト検索のためのビデオ効率の良い識別共同エンコーダ
- Abstract要約: VEDJEは、再利用可能なキャッシュで表現を分離しながら、サンプルフレーム内の機能を圧縮する。
MSR-VTTでは59.8テキスト対ビデオR@1に到達し、ビデオCLIPXLステージが微調整されている。
これらの結果から,ビデオ検索の精度は,コンパクトなエンコードされた証拠に対して一度だけ動作し,新しいクエリが到着すると再利用できることが示唆された。
- 参考スコア(独自算出の注目度): 11.373273415183133
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Finding the right video often requires distinguishing similar scenes in which different events occur. Joint matching improves retrieval, but processing rich video representations for each query is costly. VEDJE compresses features within sampled frames while keeping their representations separate in a reusable cache. Feature-change prediction supplies an auxiliary training signal that improves retrieval from the compressed cache without adding work at query time. On MSR-VTT, MSVD, DiDeMo, and ActivityNet, VEDJE improves R@1 over matched first-stage retrievers in both retrieval directions. On MSR-VTT, it reaches 59.8 text-to-video R@1 with a fine-tuned VideoCLIP-XL first stage. In the VideoPrism configuration, shrinking the per-video cache fourfold to 12 KiB preserves text-to-video recall within 0.2 points. These results show that accurate video search can operate on compact evidence, encoded once and reused as new queries arrive.
- Abstract(参考訳): 適切なビデオを見つけるには、しばしば、異なるイベントが発生する類似のシーンを区別する必要がある。
共同マッチングは検索を改善するが、クエリごとにリッチなビデオ表現を処理するにはコストがかかる。
VEDJEは、再利用可能なキャッシュで表現を分離しながら、サンプルフレーム内の機能を圧縮する。
特徴変化予測は、クエリ時に作業を追加することなく圧縮キャッシュからの検索を改善する補助的なトレーニング信号を提供する。
MSR-VTT、MSVD、DiDeMo、ActivityNetでは、VEDJEは検索方向の一致したファーストステージレトリバーよりもR@1を改善する。
MSR-VTTでは59.8テキスト対ビデオR@1に到達し、ビデオCLIP-XL第1ステージが微調整されている。
VideoPrismの設定では、ビデオ毎のキャッシュを4倍から12 KiBに縮小すると、0.2ポイント以内にテキストからビデオへのリコールが保存される。
これらの結果から,ビデオ検索の精度はコンパクトなエビデンスで動作し,新しいクエリが到着すると一度エンコードして再利用できることがわかった。
関連論文リスト
- VideoSearch-R1: Iterative Video Retrieval and Reasoning via Soft Query Refinement [31.30208652334818]
VideoSearch-R1は、ビデオ検索エンジンとのマルチターンインタラクションによる反復的なビデオ検索と推論のためのエージェントフレームワークである。
VideoSearch-R1は、VCMR(Video Moment Retrieval)上の3つのデータセットにわたる最先端のパフォーマンスを実現する
論文 参考訳(メタデータ) (2026-07-01T04:59:24Z) - Fewer Steps, Better Performance: Efficient Cross-Modal Clip Trimming for Video Moment Retrieval Using Language [60.91064560080974]
本稿では,クエリ関連クリップをトリムするスポットVMRを提案する。
提案するSpotVMRは,最新のVMR手法の効率性を実現するプラグイン・アンド・プレイモジュールとして機能する。
論文 参考訳(メタデータ) (2026-05-28T11:42:28Z) - Beyond Simple Edits: Composed Video Retrieval with Dense Modifications [96.46069692338645]
多様なビデオセグメントにまたがる細粒度および構成されたアクションをキャプチャする新しいデータセットを提案する。
Dense-WebVid-CoVRは、1.6万のサンプルからできており、修正テキストは既存のものより約7倍多い。
我々は,Cross-Attention (CA) 融合により視覚情報とテキスト情報を統合した新しいモデルを開発した。
論文 参考訳(メタデータ) (2025-08-19T17:59:39Z) - Video-ColBERT: Contextualized Late Interaction for Text-to-Video Retrieval [90.72791786676753]
Video-ColBERTは、クエリとビデオ間の微粒な類似性評価のためのシンプルで効率的なメカニズムを導入している。
このインタラクションとトレーニングのパラダイムは、ビデオコンテンツをエンコードするための、強い個人的かつ互換性のある表現につながることが分かっています。
これらの表現は、他のバイエンコーダ法と比較して、一般的なテキスト・ビデオ検索ベンチマークのパフォーマンスが向上する。
論文 参考訳(メタデータ) (2025-03-24T17:51:29Z) - Reversed in Time: A Novel Temporal-Emphasized Benchmark for Cross-Modal Video-Text Retrieval [49.44777976302792]
クロスモーダル検索(例えば、画像テキスト、ビデオテキスト)は、情報検索およびマルチモーダル視覚言語理解分野において重要なタスクである。
本稿では,新しい時間強調ビデオテキスト検索データセットRTimeを紹介する。
私たちのRTimeデータセットは、現在1ビデオにつき10キャプションの21Kビデオで構成されており、合計で約122時間です。
論文 参考訳(メタデータ) (2024-12-26T11:32:00Z) - Composed Video Retrieval via Enriched Context and Discriminative Embeddings [118.66322242183249]
コンポジションビデオ検索(CoVR)はコンピュータビジョンにおいて難しい問題である。
本稿では,クエリ固有のコンテキスト情報を明示的にエンコードするために,詳細な言語記述を活用する新しいCoVRフレームワークを提案する。
我々の手法はリコール@K=1のスコアで7%の上昇を達成した。
論文 参考訳(メタデータ) (2024-03-25T17:59:03Z) - PRVR: Partially Relevant Video Retrieval [55.41367664146273]
現在のテキスト・ツー・ビデオ検索(T2VR)では、ビデオとアドホックなテキストクエリの対応が自然に存在するように、検索対象の動画を適切にトリミングしている。
本稿では,PRVR(Partially Relevant Video Retrieval)と呼ぶこの設定に関する最初の研究について述べる。
PRVRタスクを複数インスタンス学習問題として定式化し、クリップスケールとフレームスケールの両方の類似性を共同で学習するマルチスケール類似学習(MS-SL++)ネットワークを提案する。
論文 参考訳(メタデータ) (2022-08-26T09:07:16Z) - Video Corpus Moment Retrieval with Contrastive Learning [56.249924768243375]
ビデオコーパスモーメント検索(VCMR)は、与えられたテキストクエリに意味的に対応する時間モーメントを取得することです。
VCMRのためのコントラシブラーニング(ReLoCLNet)を用いた検索・ローカリゼーションネットワークを提案する。
実験の結果、ReLoCLNetは効率のためにテキストとビデオを個別にエンコードし、その検索精度はクロスモーダル相互作用学習を採用するベースラインと匹敵する。
論文 参考訳(メタデータ) (2021-05-13T12:54:39Z) - Self-supervised Video Retrieval Transformer Network [10.456881328982586]
SVRTNは,ラベルのないデータから映像表現を学習するための自己教師あり学習法である。
トランスフォーマー構造を利用してフレームレベルの機能をクリップレベルに集約し、ストレージスペースと検索の複雑さを減らす。
クリップフレーム間の相互作用から相補的および識別的な情報を学び、フレームの置換や、より柔軟な検索方法をサポートする不変性を欠くことができる。
論文 参考訳(メタデータ) (2021-04-16T09:43:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。