論文の概要: Exploiting Prompt Caption for Video Grounding

• arxiv url: http://arxiv.org/abs/2301.05997v2
• Date: Tue, 28 Mar 2023 10:49:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 18:49:42.041720
• Title: Exploiting Prompt Caption for Video Grounding
• Title（参考訳）: ビデオグラウンド用プロンプトキャプションの爆発
• Authors: Hongxiang Li, Meng Cao, Xuxin Cheng, Zhihong Zhu, Yaowei Li, Yuexian Zou
• Abstract要約: ビデオグラウンド化のためのPCNet(Prompt Caption Network)を提案する。 即時キャプションにおける潜在的な情報を取得するために,キャプション誘導注意(CGA)を提案する。 我々の手法は最先端の手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 54.46067948276649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video grounding aims to locate a moment of interest matching the given query sentence from an untrimmed video. Previous works ignore the \emph{sparsity dilemma} in video annotations, which fails to provide the context information between potential events and query sentences in the dataset. In this paper, we contend that exploiting easily available captions which describe general actions \ie, prompt captions (PC) defined in our paper, will significantly boost the performance. To this end, we propose a Prompt Caption Network (PCNet) for video grounding. Specifically, we first introduce dense video captioning to generate dense captions and then obtain prompt captions by Non-Prompt Caption Suppression (NPCS). To capture the potential information in prompt captions, we propose Caption Guided Attention (CGA) project the semantic relations between prompt captions and query sentences into temporal space and fuse them into visual representations. Considering the gap between prompt captions and ground truth, we propose Asymmetric Cross-modal Contrastive Learning (ACCL) for constructing more negative pairs to maximize cross-modal mutual information. Without bells and whistles, extensive experiments on three public datasets (\ie, ActivityNet Captions, TACoS and ActivityNet-CG) demonstrate that our method significantly outperforms state-of-the-art methods.
• Abstract（参考訳）: ビデオグラウンディングは、未編集のビデオから与えられたクエリ文にマッチする興味のある瞬間を見つけることを目的としている。 以前の作業では、ビデオアノテーションの「emph{sparsity dilemma}」を無視しており、潜在的なイベントとデータセットのクエリ文の間のコンテキスト情報の提供に失敗している。 本稿では,本論文で定義した一般的な動作を記述したキャプション(PC)を活用すれば,性能が大幅に向上すると主張している。 そこで本稿では,ビデオグラウンドのためのPCNet(Prompt Caption Network)を提案する。 具体的には,まず,高密度キャプションを生成して,非プロンプトキャプション抑制(NPCS)によるプロンプトキャプションを得る。 そこで我々は,アクセプションとクエリ文のセマンティックな関係を時間空間に投影し,それらを視覚表現に融合させるCGA(Caption Guided Attention)を提案する。 そこで我々は, よりネガティブなペアを構築し, 相互情報を最大化するための非対称なクロスモーダルコントラスト学習(ACCL)を提案する。 ベルやホイッスルがなければ,3つの公開データセット(\ie, ActivityNet Captions, TACoS, ActivityNet-CG)の広範な実験により,我々の手法が最先端の手法よりも優れていることが示された。

関連論文リスト

• Video Summarization: Towards Entity-Aware Captions [73.28063602552741]
  本稿では,ニュース映像をエンティティ対応キャプションに直接要約するタスクを提案する。 提案手法は,既存のニュース画像キャプションデータセットに一般化されていることを示す。
  論文  参考訳（メタデータ） (2023-12-01T23:56:00Z)
• Top-Down Framework for Weakly-supervised Grounded Image Captioning [19.00510117145054]
  弱教師付き接地画像キャプションは、バウンディングボックスの監督を使わずに、入力画像中のキャプションとグラウンド(局所化)予測対象語を生成することを目的としている。 本稿では,RGB画像を直接入力として,トップダウン画像レベルでのキャプションとグラウンド実行を行う一段弱教師付き接地キャプタを提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:42:18Z)
• Learning Grounded Vision-Language Representation for Versatile Understanding in Untrimmed Videos [57.830865926459914]
  本稿では,情報イベントを自動的に検出する未編集ビデオのための視覚言語学習フレームワークを提案する。 粗いレベルのビデオ言語アライメントの代わりに、細かなセグメントレベルのアライメントを促進するために、2つの二重プレテキストタスクを提示する。 我々のフレームワークは、視覚的な言語理解と生成のタスクに容易に対応できる。
  論文  参考訳（メタデータ） (2023-03-11T11:00:16Z)
• Tell me what you see: A zero-shot action recognition method based on natural language descriptions [3.136605193634262]
  ビデオから意味情報を抽出するビデオキャプション手法を提案する。 私たちの知る限りでは、ビデオとラベルの両方を記述文で表現するのはこれが初めてです。 複数のテキストデータセット上でパラフレージングタスクで事前訓練されたBERTベースの埋め込みを用いた共有意味空間を構築する。
  論文  参考訳（メタデータ） (2021-12-18T17:44:07Z)
• Controllable Video Captioning with an Exemplar Sentence [89.78812365216983]
  本稿では,エンコーダ・デコーダ・リコンストラクタアーキテクチャに組み込んだ新しいSMCGを提案する。 SMCGはビデオセマンティック表現を入力とし、長期記憶ネットワークのゲートとセルを条件的に変調する。 2つの公開ビデオキャプションデータセットに対して、補助的な例文を収集して実験を行う。
  論文  参考訳（メタデータ） (2021-12-02T09:24:45Z)
• Cross-Sentence Temporal and Semantic Relations in Video Activity Localisation [79.50868197788773]
  我々は、クロスセンスリレーショナルマイニングを導入して、より正確な教師付きソリューションを開発する。 本稿では,(1)トリミング順序付けと(2)ビデオ活動の段落記述における文間の意味的一貫性の2つの横断的関係性制約について検討する。 2つのパブリックなアクティビティローカライゼーションデータセットの実験は、最先端の弱い教師付き手法に対する我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2021-07-23T20:04:01Z)
• Fine-grained Iterative Attention Network for TemporalLanguage Localization in Videos [63.94898634140878]
  ビデオ中の時間的言語ローカライゼーションは、与えられた文クエリに基づいて、ビデオセグメントの1つを未トリミングビデオにグラウンドすることを目的としている。 本稿では,2つのクエリ・ビデオ・インフォーム抽出のための反復的注意モジュールからなる細粒度反復注意ネットワーク(FIAN)を提案する。 本稿では,Ac-tivityNet Captions,TACoS,Charades-STAの3つのベンチマークで提案手法を評価した。
  論文  参考訳（メタデータ） (2020-08-06T04:09:03Z)
• OVC-Net: Object-Oriented Video Captioning with Temporal Graph and Detail Enhancement [44.228748086927375]
  本稿では,ビデオベースのオブジェクト指向ビデオキャプションネットワーク(OVC)-Netを時間グラフと詳細拡張を通じて紹介する。 提案手法の有効性を実証するため,新しいデータセットの実験を行い,最先端のビデオキャプション手法と比較した。
  論文  参考訳（メタデータ） (2020-03-08T04:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。