論文の概要: Semantic-Aware Pretraining for Dense Video Captioning
- arxiv url: http://arxiv.org/abs/2204.07449v1
- Date: Wed, 13 Apr 2022 06:57:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-18 11:54:35.192076
- Title: Semantic-Aware Pretraining for Dense Video Captioning
- Title（参考訳）: ディエンスビデオキャプションのためのセマンティック・アウェア事前学習
- Authors: Teng Wang, Zhu Liu, Feng Zheng, Zhichao Lu, Ran Cheng, Ping Luo
- Abstract要約: 本稿では,高レベルなセマンティック概念の認識を支援する,高密度なビデオキャプションのためのセマンティック・アウェア・プレトレーニング手法を提案する。
最終的なアンサンブルモデルでは,テストセットの10.00 METEORスコアが達成される。
- 参考スコア（独自算出の注目度）: 54.61034574151816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This report describes the details of our approach for the event
dense-captioning task in ActivityNet Challenge 2021. We present a
semantic-aware pretraining method for dense video captioning, which empowers
the learned features to recognize high-level semantic concepts. Diverse video
features of different modalities are fed into an event captioning module to
generate accurate and meaningful sentences. Our final ensemble model achieves a
10.00 METEOR score on the test set.
- Abstract（参考訳）: 本報告では, activitynet challenge 2021 におけるイベント密接化タスクに対する我々のアプローチの詳細について述べる。
本稿では,高レベルな意味概念を認識するための学習機能を実現する,高次映像キャプションのためのセマンティクス対応事前学習手法を提案する。
異なるモダリティの様々なビデオ特徴をイベントキャプションモジュールに入力し、正確で意味のある文を生成する。
最終的なアンサンブルモデルでは,テストセットの10.00 METEORスコアが達成される。
関連論文リスト
- Tem-adapter: Adapting Image-Text Pretraining for Video Question Answer [79.20605034378187]
ビデオ言語事前学習モデルは、ビデオ質問応答タスクの指導において顕著な成功を収めている。
ビデオシーケンスの長さのため、大規模なビデオベースモデルのトレーニングは、画像ベースモデルのトレーニングよりもかなりコストがかかる。
これは、画像ドメインとビデオドメインの間に明らかなギャップがあるにもかかわらず、画像ベースの事前学習からの知識を活用する動機となります。
論文 参考訳（メタデータ） (2023-08-16T15:00:50Z) - Learning Grounded Vision-Language Representation for Versatile
Understanding in Untrimmed Videos [57.830865926459914]
本稿では,情報イベントを自動的に検出する未編集ビデオのための視覚言語学習フレームワークを提案する。
粗いレベルのビデオ言語アライメントの代わりに、細かなセグメントレベルのアライメントを促進するために、2つの二重プレテキストタスクを提示する。
我々のフレームワークは、視覚的な言語理解と生成のタスクに容易に対応できる。
論文 参考訳（メタデータ） (2023-03-11T11:00:16Z) - MAViC: Multimodal Active Learning for Video Captioning [8.454261564411436]
本稿では,映像キャプションにおけるアクティブな学習手法の課題に対処するためにMAViCを紹介する。
本手法は,獲得関数における視覚的,言語的両次元のセマンティックな類似性と不確実性を統合する。
論文 参考訳（メタデータ） (2022-12-11T18:51:57Z) - Leveraging the Video-level Semantic Consistency of Event for
Audio-visual Event Localization [8.530561069113716]
AVEローカライゼーションタスクのためのビデオレベルのセマンティック・コンセンサス・ガイダンス・ネットワークを提案する。
クロスモーダルなイベント表現抽出器と、モーダル内のセマンティック一貫性向上器の2つのコンポーネントから構成される。
我々は、パブリックなAVVデータセット上で広範な実験を行い、完全に教師された設定と弱い設定の両方において最先端の手法より優れています。
論文 参考訳（メタデータ） (2022-10-11T08:15:57Z) - End-to-end Dense Video Captioning as Sequence Generation [83.90502354328679]
本稿では,高密度ビデオキャプションの2つのサブタスクを1つのシーケンス生成タスクとして一緒にモデル化する方法を示す。
YouCook2 と ViTT の実験では,大規模な事前学習モデルに統合された複雑なタスクのトレーニングの実現可能性を示す。
論文 参考訳（メタデータ） (2022-04-18T01:30:54Z) - Hierarchical Modular Network for Video Captioning [162.70349114104107]
ビデオ表現と言語意味論を3つのレベルからブリッジし,キャプションを生成する階層型モジュールネットワークを提案する。
提案手法は,MSVD 104.0% と MSR-VTT 51.5% の CIDEr スコアの2つのベンチマークにおいて,最先端のモデルに対して良好に動作する。
論文 参考訳（メタデータ） (2021-11-24T13:07:05Z) - Towards Diverse Paragraph Captioning for Untrimmed Videos [40.205433926432434]
既存のアプローチでは、主にイベント検出とイベントキャプションという2つのステップで問題を解決している。
本稿では,問題のあるイベント検出段階を抽出し,未トリミングビデオの段落を直接生成する段落生成モデルを提案する。
論文 参考訳（メタデータ） (2021-05-30T09:28:43Z) - Spoken Moments: Learning Joint Audio-Visual Representations from Video
Descriptions [75.77044856100349]
我々は、異なるイベントの広い範囲を描写するユニークな短いビデオに起因する500k話されたキャプションのSpoken Momentsデータセットを提示します。
AMMアプローチは一貫して結果を改善し、Spoken Momentsデータセットで訓練されたモデルは、他のビデオキャプションデータセットで訓練されたモデルよりも汎用性が高いことを示しています。
論文 参考訳（メタデータ） (2021-05-10T16:30:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。