論文の概要: EviDETR: Preserving Query-Relevant Temporal Evidence for Moment Retrieval and Highlight Detection
- arxiv url: http://arxiv.org/abs/2609.30724v1
- Date: Fri, 25 Sep 2026 02:53:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.193727
- Title: EviDETR: Preserving Query-Relevant Temporal Evidence for Moment Retrieval and Highlight Detection
- Title(参考訳): EviDETR:モーメント検索とハイライト検出のためのクエリ関連時間証拠を保存する
- Abstract要約: EviDETRはビデオモーメント検索とハイライト検出のためのエビデンス保存フレームワークである。
SFRは、サリエンシ推定とクロスモーダル相互作用を通じて、クエリ関連クリップ表現を強化する。
MR-to-HD(MR2HD)融合は、スパンレベルの検索証拠をクリップレベルのハイライト予測に転送する。
- 参考スコア(独自算出の注目度): 23.118939662846056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Joint video moment retrieval and highlight detection requires identifying query-relevant temporal segments while estimating clip-level saliency, yet DETR-style pipelines do not explicitly preserve query-relevant evidence throughout encoding, decoding, and cross-task prediction. We propose EviDETR, an evidence-preserving framework with three components. Semantic-aware Feature Reweighting (SFR) enhances query-relevant clip representations through saliency estimation and cross-modal interaction. A Temporal Top-2 Mixture-of-Experts (TTop2MoE) decoder performs query-adaptive refinement via sparse expert routing. MR-to-HD (MR2HD) fusion transfers span-level retrieval evidence to clip-level highlight prediction through confidence-weighted multi-scale aggregation. Using CLIP+SlowFast features, EviDETR achieves 69.29 R1@0.5, 54.77 R1@0.7, and 48.41 Avg. mAP for moment retrieval on QVHighlights, together with 41.83 HD-mAP and 68.33 HIT@1. Strong results on TACoS and Charades-STA further demonstrate cross-dataset transferability.
- Abstract(参考訳): 共同ビデオモーメント検索とハイライト検出は、クリップレベルの精度を推定しながら、クエリ関連時間セグメントを特定する必要があるが、DETRスタイルのパイプラインは、エンコーディング、デコーディング、クロスタスク予測全体を通してクエリ関連エビデンスを明示的に保持していない。
3つのコンポーネントを持つエビデンス保存フレームワークであるEviDETRを提案する。
Semantic-Aware Feature Reweighting (SFR)は、サリエンシ推定と相互モーダル相互作用を通じて、クエリ関連クリップ表現を強化する。
時間的Top-2 Mixture-of-Experts (TTop2MoE)デコーダは、スパースエキスパートルーティングを介してクエリ適応的な洗練を行う。
MR-to-HD(MR2HD)融合は、信頼度重み付きマルチスケールアグリゲーションによるクリップレベルのハイライト予測にスパンレベル検索エビデンスを伝達する。
CLIP+SlowFast機能を使用して、EviDETRは69.29 R1@0.5、54.77 R1@0.7、48.41 Avgを達成した。
41.83 HD-mAPと68.33 HIT@1と共にQVHighlights上のモーメント検索用mAP。
TACoSとCharades-STAの強い結果は、さらにデータセット間の転送可能性を示している。
関連論文リスト
- Concentrate After Imagination: Text-Conditioned Evidence Grounding for Partially Relevant Video Retrieval [27.64333612353748]
関連のあるビデオ検索は、クエリーが短い瞬間だけを記述すると、未トリミングされたビデオを検索する。
本稿では,PRVRのためのスコアレベルのエビデンス検証演算子TRACEを提案する。
ActivityNet Captions、Charades-STA、TVRでは、TRACEは3つのベンチマークで最高のSumRを達成する。
論文 参考訳(メタデータ) (2026-09-08T16:37:35Z) - Intrinsic Temporal Adaptation of CLIP for Partially Relevant Video Retrieval [40.983482307220676]
PRVRは、テキストクエリに関連するモーメントを含む未編集のビデオを検索することを目的としている。
Intrinsic Temporal Adaptation (ITA) framework for PRVRを提案する。
提案手法は,PRVRベンチマーク上での最先端性能を実現する。
論文 参考訳(メタデータ) (2026-09-04T06:58:59Z) - Rethinking Event-Based Object Dtection through Representation-Level Temporal Aggregation and Model-Level Hypergraph Reasoning [65.08890312027314]
イベントカメラはマイクロ秒レベルの時間分解能、低レイテンシ、高ダイナミックレンジを提供する。
Event Dual Temporal-Relational Aggregation Detector (Ev-DTAD)は、表現レベルの時間エンコーディングとモデルレベルの時間-ハイパーグラフ推論を統合する。
Ev-DTADは、コンパクトな時間的表現と時間的ハイパーグラフの特徴的推論の相補性を検証し、競争精度と効率のトレードオフを実現する。
論文 参考訳(メタデータ) (2026-05-09T09:20:34Z) - Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。
我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。
本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文 参考訳(メタデータ) (2026-03-09T18:20:20Z) - Active Video Perception: Iterative Evidence Seeking for Agentic Long Video Understanding [139.83981719664794]
LVU(Long Video Understanding)は、現実のクエリに答えることが、数時間の計算時間内に埋められた、時間的に分散されたキューと無関係なコンテンツに依存するため、難しい。
我々は,映像をインタラクティブな環境として扱うエビデンス検索フレームワークであるActive Video Perception(AVP)を,画素から直接クエリ関連エビデンスを取得する。
論文 参考訳(メタデータ) (2025-12-05T15:03:48Z) - TR-DETR: Task-Reciprocal Transformer for Joint Moment Retrieval and
Highlight Detection [9.032057312774564]
自然言語クエリに基づくビデオモーメント検索(MR)とハイライト検出(HD)は、非常に関連性の高い2つのタスクである。
MRとHDを共同で解くために、DETRベースのネットワークの構築にいくつかの方法が注がれている。
MRとHDの相反性を探索するDETR(TR-DETR)に基づくタスク相互変換器を提案する。
論文 参考訳(メタデータ) (2024-01-04T14:55:57Z) - Faster Video Moment Retrieval with Point-Level Supervision [70.51822333023145]
Video Moment Retrieval (VMR)は、自然言語クエリでトリミングされていないビデオから最も関連性の高いイベントを取得することを目的としている。
既存のVMRメソッドには2つの欠陥がある。
CFMR(Cheaper and Faster Moment Retrieval)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-05-23T12:53:50Z) - Query-Dependent Video Representation for Moment Retrieval and Highlight
Detection [8.74967598360817]
MR/HDの主な目的は、あるテキストクエリに対して、モーメントをローカライズし、クリップワイドアコーディネートレベル、すなわち、サリエンシスコアを推定することである。
最近のトランスフォーマーベースのモデルは、与えられたクエリの情報を完全に活用していない。
本稿ではMR/HDに適した検出変換器であるQuery-Dependent DETR(QD-DETR)を紹介する。
論文 参考訳(メタデータ) (2023-03-24T09:32:50Z) - Semantic-Aligned Matching for Enhanced DETR Convergence and Multi-Scale
Feature Fusion [95.7732308775325]
提案したDetection TRansformer (DETR) は、オブジェクト検出のための完全なエンドツーエンドパラダイムを確立している。
DETRは遅いトレーニング収束に悩まされており、様々な検出タスクの適用性を妨げている。
我々は,DETRの収束を加速し,検出性能を向上させるためにセマンティック・アラインド・マッチDreTR++を設計する。
論文 参考訳(メタデータ) (2022-07-28T15:34:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。