論文の概要: Knowing Where to Focus: Event-aware Transformer for Video Grounding

• arxiv url: http://arxiv.org/abs/2308.06947v1
• Date: Mon, 14 Aug 2023 05:54:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 14:27:04.284755
• Title: Knowing Where to Focus: Event-aware Transformer for Video Grounding
• Title（参考訳）: フォーカスする場所を知る:ビデオグラウンド用イベント認識変換器
• Authors: Jinhyun Jang, Jungin Park, Jin Kim, Hyeongjun Kwon, Kwanghoon Sohn
• Abstract要約: イベント対応動的モーメントクエリを定式化し、入力固有のコンテンツと動画の位置情報を考慮に入れます。 実験では、イベント対応動的モーメントクエリの有効性と効率を実証し、いくつかのビデオグラウンドベンチマークで最先端のアプローチより優れていることを示した。
• 参考スコア（独自算出の注目度）: 40.526461893854226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent DETR-based video grounding models have made the model directly predict moment timestamps without any hand-crafted components, such as a pre-defined proposal or non-maximum suppression, by learning moment queries. However, their input-agnostic moment queries inevitably overlook an intrinsic temporal structure of a video, providing limited positional information. In this paper, we formulate an event-aware dynamic moment query to enable the model to take the input-specific content and positional information of the video into account. To this end, we present two levels of reasoning: 1) Event reasoning that captures distinctive event units constituting a given video using a slot attention mechanism; and 2) moment reasoning that fuses the moment queries with a given sentence through a gated fusion transformer layer and learns interactions between the moment queries and video-sentence representations to predict moment timestamps. Extensive experiments demonstrate the effectiveness and efficiency of the event-aware dynamic moment queries, outperforming state-of-the-art approaches on several video grounding benchmarks.
• Abstract（参考訳）: 最近のDETRベースのビデオグラウンドモデルでは、モーメントクエリを学習することで、事前に定義された提案や非最大抑圧のような手作りのコンポーネントを使わずに、モーメントタイムスタンプを直接予測することができる。 しかし、入力非依存のモーメントクエリは、必然的にビデオの固有の時間構造を見落とし、限られた位置情報を提供する。 本稿では,イベントを認識した動的モーメントクエリを定式化し,モデルが映像の入力固有のコンテンツと位置情報を考慮に入れることを可能にする。 この目的のために、我々は二段階の推論を提示する。 1) スロット注意機構を用いて所定の映像を構成する特有のイベント単位をキャプチャするイベント推論 2)モーメントクエリと所定の文を融合トランスフォーマー層を介して融合し、モーメントクエリとビデオ・センテンス表現との間の相互作用を学習してモーメントタイムスタンプを予測するモーメント推論。 大規模な実験では、イベント対応動的モーメントクエリの有効性と効率が示され、いくつかのビデオグラウンドベンチマークにおける最先端のアプローチよりも優れている。

関連論文リスト

• On the Consistency of Video Large Language Models in Temporal Comprehension [57.985769348320616]
  ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。 予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
  論文  参考訳（メタデータ） (2024-11-20T00:47:17Z)
• Event-aware Video Corpus Moment Retrieval [79.48249428428802]
  Video Corpus Moment Retrieval(VCMR)は、未編集ビデオの膨大なコーパス内の特定の瞬間を特定することに焦点を当てた、実用的なビデオ検索タスクである。 VCMRの既存の方法は、典型的にはフレーム対応のビデオ検索に依存し、クエリとビデオフレーム間の類似性を計算して、ビデオをランク付けする。 本研究では,ビデオ検索の基本単位として,ビデオ内のイベントを明示的に活用するモデルであるEventFormerを提案する。
  論文  参考訳（メタデータ） (2024-02-21T06:55:20Z)
• Background-aware Moment Detection for Video Moment Retrieval [19.11524416308641]
  ビデオモーメント検索(VMR)は、与えられた自然言語クエリの未トリミングビデオ中の特定のモーメントを特定する。 あいまいさのため、クエリは対応するモーメントの関連する詳細を完全にカバーしていない。 背景認識型モーメント検出変換器(BM-DETR)を提案する。 本モデルでは,正の問合せと負の問合せの相補性から,各フレームの連成確率から目標モーメントを予測することを学ぶ。
  論文  参考訳（メタデータ） (2023-06-05T09:26:33Z)
• Query-Dependent Video Representation for Moment Retrieval and Highlight Detection [8.74967598360817]
  MR/HDの主な目的は、あるテキストクエリに対して、モーメントをローカライズし、クリップワイドアコーディネートレベル、すなわち、サリエンシスコアを推定することである。 最近のトランスフォーマーベースのモデルは、与えられたクエリの情報を完全に活用していない。 本稿ではMR/HDに適した検出変換器であるQuery-Dependent DETR(QD-DETR)を紹介する。
  論文  参考訳（メタデータ） (2023-03-24T09:32:50Z)
• QVHighlights: Detecting Moments and Highlights in Videos via Natural Language Queries [89.24431389933703]
  Query-based Video Highlights (QVHighlights) データセットを提示する。 これは1万本以上のYouTubeビデオで構成され、幅広いトピックをカバーしている。 データセット内の各ビデオには、(1)人書き自由形式のNLクエリ、(2)クエリに関するビデオw.r.t.の関連モーメント、(3)クエリに関連するすべてのクリップに対する5ポイントスケールのサリエンシスコアが注釈付けされている。
  論文  参考訳（メタデータ） (2021-07-20T16:42:58Z)
• Video Imprint [107.1365846180187]
  複雑なイベント検索,認識,記録のための統合ビデオ分析フレームワーク(ER3)が提案されている。 提案したビデオインプリント表現は、ビデオフレーム間の画像特徴間の時間的相関を利用する。 ビデオインプリントは、それぞれ、イベント認識/記録およびイベント検索タスクのために、推論ネットワークと特徴集約モジュールに入力される。
  論文  参考訳（メタデータ） (2021-06-07T00:32:47Z)
• Deconfounded Video Moment Retrieval with Causal Intervention [80.90604360072831]
  本研究は,ビデオ中の特定のモーメントをテキストクエリに従ってローカライズすることを目的とした,ビデオモーメント検索(VMR)の課題に取り組む。 既存の手法は主に複雑な相互モーダル相互作用によるクエリとモーメントのマッチング関係をモデル化する。 本稿では,クエリとビデオコンテンツが予測に与える影響を捉えるために,構造因果モデルを構築する因果性に着想を得たVMRフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-03T01:33:26Z)
• Activity Graph Transformer for Temporal Action Localization [41.69734359113706]
  時間的行動のローカリゼーションのためのエンドツーエンド学習可能なモデルであるActivity Graph Transformerを紹介します。 本研究では,この非線形時間構造を,映像を非連続実体としてグラフの形で推論することによって捉える。 その結果,提案したモデルが最新技術より相当なマージンで上回ることが示された。
  論文  参考訳（メタデータ） (2021-01-21T10:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。