論文の概要: Video Moment Retrieval from Text Queries via Single Frame Annotation

• arxiv url: http://arxiv.org/abs/2204.09409v1
• Date: Wed, 20 Apr 2022 11:59:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-21 14:45:48.747925
• Title: Video Moment Retrieval from Text Queries via Single Frame Annotation
• Title（参考訳）: 単一フレームアノテーションによるテキストクエリからの動画モーメント検索
• Authors: Ran Cui, Tianwen Qian, Pai Peng, Elena Daskalaki, Jingjing Chen, Xiaowei Guo, Huyang Sun, Yu-Gang Jiang
• Abstract要約: ビデオモーメント検索は、与えられた自然言語クエリによって記述されたモーメントの開始と終了のタイムスタンプを見つけることを目的としている。 完全な教師付き手法は、有望な結果を達成するために完全な時間境界アノテーションを必要とする。 我々は「用語アノテーション」と呼ばれる新しいパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 65.92224946075693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video moment retrieval aims at finding the start and end timestamps of a moment (part of a video) described by a given natural language query. Fully supervised methods need complete temporal boundary annotations to achieve promising results, which is costly since the annotator needs to watch the whole moment. Weakly supervised methods only rely on the paired video and query, but the performance is relatively poor. In this paper, we look closer into the annotation process and propose a new paradigm called "glance annotation". This paradigm requires the timestamp of only one single random frame, which we refer to as a "glance", within the temporal boundary of the fully supervised counterpart. We argue this is beneficial because comparing to weak supervision, trivial cost is added yet more potential in performance is provided. Under the glance annotation setting, we propose a method named as Video moment retrieval via Glance Annotation (ViGA) based on contrastive learning. ViGA cuts the input video into clips and contrasts between clips and queries, in which glance guided Gaussian distributed weights are assigned to all clips. Our extensive experiments indicate that ViGA achieves better results than the state-of-the-art weakly supervised methods by a large margin, even comparable to fully supervised methods in some cases.
• Abstract（参考訳）: ビデオモーメント検索は、与えられた自然言語クエリによって記述された瞬間(ビデオの一部)の開始と終了のタイムスタンプを見つけることを目的としている。 完全に監督されたメソッドは、期待できる結果を達成するために完全な時間境界アノテーションを必要とします。 弱い教師付きメソッドは、ペアビデオとクエリのみに依存するが、パフォーマンスは比較的貧弱である。 本稿では,アノテーションプロセスを詳細に検討し,"glance annotation"と呼ばれる新しいパラダイムを提案する。 このパラダイムでは、1つのランダムフレームのタイムスタンプしか必要とせず、これは完全に監督されたフレームの時間境界内で「ランス」と呼ばれる。 弱い監督と比較すると、ささいなコストが加えられる一方で、パフォーマンスの潜在的な可能性も増すので、これは有益である、と私たちは主張します。 視線アノテーション設定では,コントラスト学習に基づくGlance Annotation (ViGA) による映像モーメント検索という手法を提案する。 ViGAは、入力ビデオをクリップに切り分け、クリップとクエリ間のコントラストを指定し、ビューガイド付きガウス分布重みをすべてのクリップに割り当てる。 我々の広範な実験は、VGAが最先端の弱い教師付き手法よりも優れた結果を得られることを示唆している。

関連論文リスト

• Siamese Learning with Joint Alignment and Regression for Weakly-Supervised Video Paragraph Grounding [70.31050639330603]
  ビデオ段落の接頭辞は、意味的関係と時間的順序を持つ複数の文を、トリミングされていないビデオからローカライズすることを目的としている。 既存のVPGアプローチは、かなりの数の時間ラベルに大きく依存している。 我々は、時間的アノテーションの必要性を排除するために、Wakly-Supervised Video paragraph Grounding (WSVPG)を導入し、探索する。
  論文  参考訳（メタデータ） (2024-03-18T04:30:31Z)
• Temporal Sentence Grounding in Streaming Videos [60.67022943824329]
  本稿では,ストリーミングビデオにおける時間文グラウンディング(TSGSV)の新たな課題に取り組むことを目的とする。 TSGSVの目標は、ビデオストリームと所定の文クエリの関連性を評価することである。 本研究では,(1)モデルが今後のイベントを学習することを可能にするTwinNet構造,(2)冗長な視覚的フレームを除去する言語誘導型特徴圧縮器の2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-14T12:30:58Z)
• TempCLR: Temporal Alignment Representation with Contrastive Learning [35.12182087403215]
  本稿では,全ビデオと段落を明示的に比較するために,対照的な学習フレームワークであるTempCLRを提案する。 ビデオと段落の事前学習に加えて,ビデオインスタンス間のマッチングも一般化できる。
  論文  参考訳（メタデータ） (2022-12-28T08:10:31Z)
• Distill and Collect for Semi-Supervised Temporal Action Segmentation [0.0]
  本稿では,注釈付きおよび注釈なしのビデオシーケンスからの知識を同時に活用する時間的行動分割タスクを提案する。 提案手法では, 繰り返し精製し, 最終的にフレーム予測を組み合わすマルチストリーム蒸留を用いる。 また,本モデルでは,後に時間的制約として使用されるアクション順序を予測し,無注釈ビデオの監督の欠如に対処するため,フレームラベルを推定する。
  論文  参考訳（メタデータ） (2022-11-02T17:34:04Z)
• Modal-specific Pseudo Query Generation for Video Corpus Moment Retrieval [20.493241098064665]
  ビデオコーパスモーメント検索(VCMR)は、自然言語クエリを用いて、大きなビデオコーパスから最も関連性の高いビデオモーメントを検索するタスクである。 モーダル固有のPseudo Query Generation Network (MPGN) を提案する。 MPGNは、選択した時間モーメントから視覚情報とテキスト情報の両方を活用する疑似クエリを生成する。 我々は,MPGNがビデオコーパスモーメントを明示的なアノテーションなしでローカライズすることに成功したことを示す。
  論文  参考訳（メタデータ） (2022-10-23T05:05:18Z)
• A Generalized & Robust Framework For Timestamp Supervision in Temporal Action Segmentation [79.436224998992]
  時間的アクションセグメンテーションでは、Timestampの監督はビデオシーケンスごとにわずかにラベル付きフレームを必要とする。 本稿では,未ラベルフレームのラベルの不確実性を利用した期待最大化に基づく新しい手法を提案する。 提案手法はSOTA結果を生成し,複数のメトリクスやデータセットの完全教師付き設定を超えている。
  論文  参考訳（メタデータ） (2022-07-20T18:30:48Z)
• Temporally-Weighted Hierarchical Clustering for Unsupervised Action Segmentation [96.67525775629444]
  アクションセグメンテーションとは、ビデオにおける意味的に一貫した視覚概念の境界を推測することを指す。 ビデオ中のセグメンテーション動作に対して,トレーニングを必要としない完全自動かつ教師なしのアプローチを提案する。 提案手法は,ビデオの意味的に一貫性のあるフレームをグループ化できる効果的な時間重み付き階層クラスタリングアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-20T23:30:01Z)
• Frame-wise Cross-modal Matching for Video Moment Retrieval [32.68921139236391]
  ビデオモーメント検索は、与えられた言語クエリのためにビデオ中の瞬間を検索するターゲットである。 本課題は,1)未編集ビデオにおける関連モーメントのローカライズの必要性,2)テキストクエリとビデオコンテンツ間のセマンティックなギャップを埋めることである。 本稿では,対話モデルに基づいて時間境界を予測できる注意的相互関連マッチングモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-22T10:25:41Z)
• SF-Net: Single-Frame Supervision for Temporal Action Localization [60.202516362976645]
  単一フレームの監視は、低いアノテーションのオーバーヘッドを維持しながら、追加の時間的アクション信号を導入します。 本研究では,SF-Netと呼ばれる単一フレーム監視システムを提案する。 SF-Netは、セグメントローカライゼーションと単一フレームローカライゼーションの両方の観点から、最先端の弱い教師付き手法を大幅に改善する。
  論文  参考訳（メタデータ） (2020-03-15T15:06:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。