論文の概要: Length-Aware DETR for Robust Moment Retrieval

• arxiv url: http://arxiv.org/abs/2412.20816v1
• Date: Mon, 30 Dec 2024 09:11:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:06.806290
• Title: Length-Aware DETR for Robust Moment Retrieval
• Title（参考訳）: 頑健なモーメント検索のための長さ認識型DETR
• Authors: Seojeong Park, Jiho Choi, Kyungjune Baek, Hyunjung Shim,
• Abstract要約: Video Moment Retrieval (MR)は、与えられた自然言語クエリに基づいて、ビデオ内のモーメントをローカライズすることを目的としている。 近年のDETRベースのモデルでは性能が顕著に向上しているが、短時間の正確なローカライズには苦戦している。 MomentMixは、フォアグラウンドMixとバックグラウンドMixの2つの拡張戦略を採用しており、それぞれがフォアグラウンドとバックグラウンドの特徴表現を強化する。
• 参考スコア（独自算出の注目度）: 16.933122935705697
• License:
• Abstract: Video Moment Retrieval (MR) aims to localize moments within a video based on a given natural language query. Given the prevalent use of platforms like YouTube for information retrieval, the demand for MR techniques is significantly growing. Recent DETR-based models have made notable advances in performance but still struggle with accurately localizing short moments. Through data analysis, we identified limited feature diversity in short moments, which motivated the development of MomentMix. MomentMix employs two augmentation strategies: ForegroundMix and BackgroundMix, each enhancing the feature representations of the foreground and background, respectively. Additionally, our analysis of prediction bias revealed that short moments particularly struggle with accurately predicting their center positions of moments. To address this, we propose a Length-Aware Decoder, which conditions length through a novel bipartite matching process. Our extensive studies demonstrate the efficacy of our length-aware approach, especially in localizing short moments, leading to improved overall performance. Our method surpasses state-of-the-art DETR-based methods on benchmark datasets, achieving the highest R1 and mAP on QVHighlights and the highest R1@0.7 on TACoS and Charades-STA (such as a 2.46% gain in R1@0.7 and a 2.57% gain in mAP average for QVHighlights). The code is available at https://github.com/sjpark5800/LA-DETR.
• Abstract（参考訳）: Video Moment Retrieval (MR)は、与えられた自然言語クエリに基づいて、ビデオ内のモーメントをローカライズすることを目的としている。 情報検索にYouTubeなどのプラットフォームが広く使われていることを考えると、MR技術への需要は著しく増加している。 近年のDETRベースのモデルでは、性能が顕著に向上しているが、短時間の正確なローカライズに苦戦している。 データ分析により,短時間で限られた特徴の多様性が同定され,MomentMixの開発が動機となった。 MomentMixは、フォアグラウンドMixとバックグラウンドMixの2つの拡張戦略を採用しており、それぞれがフォアグラウンドとバックグラウンドの特徴表現を強化する。 さらに, 予測バイアスの解析の結果, 短い瞬間が特に中心位置の正確な予測に苦慮していることが判明した。 そこで本研究では,両部マッチングにより長さを規定するLongth-Aware Decoderを提案する。 本研究は,特に短時間の局所化において,我々の長さ認識アプローチの有効性を実証し,全体的な性能改善につながった。 提案手法は,QVHighlightsにおけるR1およびmAP,TACoSおよびCharades-STAにおけるR1@0.7(R1@0.7の2.46%,QVHighlightsにおけるmAP平均2.57%)を達成し,ベンチマークデータセット上の最先端のDETRベースの手法を超越した。 コードはhttps://github.com/sjpark5800/LA-DETRで公開されている。

関連論文リスト

• Language-based Audio Moment Retrieval [14.227865973426843]
  音声モーメント検索(AMR)と呼ばれる新しいタスクを提案し設計する。 従来の言語ベースの音声検索タスクとは異なり、AMRはテキストクエリに基づいて、未編集の長い音声の関連モーメントを予測することを目的としている。 我々は、モーメントアノテーションを付加した大規模なシミュレーションオーディオ録音からなる専用のデータセット、Clatho-Momentを構築した。 次に、AMRタスクの基本的なフレームワークとして、Audio Moment DETR (AM-DETR) と呼ばれるDETRベースのモデルを提案する。
  論文  参考訳（メタデータ） (2024-09-24T02:24:48Z)
• TAPIR: Tracking Any Point with per-frame Initialization and temporal Refinement [64.11385310305612]
  本稿では,ビデオシーケンスを通して任意の物理面上の問合せ点を効果的に追跡する,TAP(Tracking Any Point)の新しいモデルを提案する。 提案手法では,(1)他のフレームの問合せ点に対する適切な候補点マッチングを独立に特定するマッチング段階と,(2)局所的相関に基づいてトラジェクトリと問合せの両方を更新する改良段階の2段階を用いる。 結果として得られたモデルは、DAVISにおける平均約20%の絶対平均ジャカード(AJ)改善によって示されるように、TAP-Vidベンチマークにおける大きなマージンで、すべてのベースライン手法を上回ります。
  論文  参考訳（メタデータ） (2023-06-14T17:07:51Z)
• Multi-video Moment Ranking with Multimodal Clue [69.81533127815884]
  VCMRの最先端の研究は、2段階の手法に基づいている。 MINUTEはTVRとDiDeMoデータセットのベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-01-29T18:38:13Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• QVHighlights: Detecting Moments and Highlights in Videos via Natural Language Queries [89.24431389933703]
  Query-based Video Highlights (QVHighlights) データセットを提示する。 これは1万本以上のYouTubeビデオで構成され、幅広いトピックをカバーしている。 データセット内の各ビデオには、(1)人書き自由形式のNLクエリ、(2)クエリに関するビデオw.r.t.の関連モーメント、(3)クエリに関連するすべてのクリップに対する5ポイントスケールのサリエンシスコアが注釈付けされている。
  論文  参考訳（メタデータ） (2021-07-20T16:42:58Z)
• Deconfounded Video Moment Retrieval with Causal Intervention [80.90604360072831]
  本研究は,ビデオ中の特定のモーメントをテキストクエリに従ってローカライズすることを目的とした,ビデオモーメント検索(VMR)の課題に取り組む。 既存の手法は主に複雑な相互モーダル相互作用によるクエリとモーメントのマッチング関係をモデル化する。 本稿では,クエリとビデオコンテンツが予測に与える影響を捉えるために,構造因果モデルを構築する因果性に着想を得たVMRフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-03T01:33:26Z)
• Frame-wise Cross-modal Matching for Video Moment Retrieval [32.68921139236391]
  ビデオモーメント検索は、与えられた言語クエリのためにビデオ中の瞬間を検索するターゲットである。 本課題は,1)未編集ビデオにおける関連モーメントのローカライズの必要性,2)テキストクエリとビデオコンテンツ間のセマンティックなギャップを埋めることである。 本稿では,対話モデルに基づいて時間境界を予測できる注意的相互関連マッチングモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-22T10:25:41Z)
• Long Short-Term Relation Networks for Video Action Detection [155.13392337831166]
  本稿では,Long Short-Term Relation Networks (LSTR)について述べる。 LSTRは、ビデオアクション検出のための拡張機能と関連して集約し、伝播する。 4つのベンチマークデータセットで大規模な実験を行う。
  論文  参考訳（メタデータ） (2020-03-31T10:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。