論文の概要: Dual-Stream Transformer for Generic Event Boundary Captioning

• arxiv url: http://arxiv.org/abs/2207.03038v1
• Date: Thu, 7 Jul 2022 01:47:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-08 12:53:11.340839
• Title: Dual-Stream Transformer for Generic Event Boundary Captioning
• Title（参考訳）: ジェネリックイベント境界キャプション用デュアルストリームトランス
• Authors: Xin Gu, Hanhua Ye, Guang Chen, Yufei Wang, Libo Zhang, Longyin Wen
• Abstract要約: 本稿では,CVPR2022ジェネリックイベント境界キャプタリング(GEBC)コンペティションのチャンピオンソリューションについて述べる。 本稿では,映像コンテンツエンコーディングとキャプション生成の両方を改善したDual-Stream Transformerを提案する。
• 参考スコア（独自算出の注目度）: 25.661340616977107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper describes our champion solution for the CVPR2022 Generic Event Boundary Captioning (GEBC) competition. GEBC requires the captioning model to have a comprehension of instantaneous status changes around the given video boundary, which makes it much more challenging than conventional video captioning task. In this paper, a Dual-Stream Transformer with improvements on both video content encoding and captions generation is proposed: (1) We utilize three pre-trained models to extract the video features from different granularities. Moreover, we exploit the types of boundary as hints to help the model generate captions. (2) We particularly design an model, termed as Dual-Stream Transformer, to learn discriminative representations for boundary captioning. (3) Towards generating content-relevant and human-like captions, we improve the description quality by designing a word-level ensemble strategy. The promising results on the GEBC test split demonstrate the efficacy of our proposed model.
• Abstract（参考訳）: 本稿では,CVPR2022ジェネリックイベント境界キャプタリング(GEBC)コンペティションのチャンピオンソリューションについて述べる。 GEBCは、キャプションモデルに対して、所定のビデオ境界付近の即時的なステータス変更の理解を必要とするため、従来のビデオキャプションタスクよりもはるかに難しい。 本稿では,映像コンテンツエンコーディングとキャプション生成の両面で改善したデュアルストリームトランスを提案する。 さらに,境界の型をヒントとして活用し,モデルによるキャプション生成を支援する。 2) 境界キャプションの識別表現を学習するために,特にDual-Stream Transformerと呼ばれるモデルの設計を行う。 3) 内容関連文や人間ライクなキャプションの作成に向けて, 単語レベルのアンサンブル戦略をデザインし, 記述品質の向上を図る。 GEBCテストスプリットの有望な結果は,提案モデルの有効性を示すものである。

関連論文リスト

• Learning text-to-video retrieval from image captioning [59.81537951811595]
  本稿では,未収録ビデオを用いたテキスト・ビデオ検索訓練のプロトコルについて述べる。 i) ビデオのラベルにアクセスできず、(ii) テキスト形式でラベル付き画像にアクセスすると仮定する。 画像キャプションによるビデオフレームの自動ラベル付けにより,テキスト対ビデオ検索のトレーニングが可能になることを示す。
  論文  参考訳（メタデータ） (2024-04-26T15:56:08Z)
• Collaborative Three-Stream Transformers for Video Captioning [23.889653636822207]
  我々は,COST(Collaborative Three-Stream Transformer)と呼ばれる新しいフレームワークを設計し,これら3つの部分を個別にモデル化し,表現性を向上する。 COSTは3つのトランスフォーマーによって形成され、ビデオとテキスト間の空間時間領域における異なる粒度の視覚的・言語的相互作用を利用する。 変圧器の3つの分岐によってモデル化された相互作用を整列させるため, 変圧器の3つの分岐が相互にサポートし, 異なる粒度の識別的意味情報を利用してキャプションの正確な予測を行う。
  論文  参考訳（メタデータ） (2023-09-18T09:33:25Z)
• LLMVA-GEBC: Large Language Model with Video Adapter for Generic Event Boundary Captioning [33.041935488031]
  本稿では,LLMVA-GEBC(ジェネリックイベント境界キャプション用ビデオアダプタ付き大規模言語モデル)を提案する。 提案手法は,テストセットの76.14点を達成し,第1位を獲得した。
  論文  参考訳（メタデータ） (2023-06-17T13:55:54Z)
• Paraphrasing Is All You Need for Novel Object Captioning [126.66301869607656]
  新たな物体キャプション (NOC) は, 訓練中に真実のキャプションを観察することなく, 対象を含む画像を記述することを目的としている。 本稿では,NOC の2段階学習フレームワークである Paraphrasing-to-Captioning (P2C) について述べる。
  論文  参考訳（メタデータ） (2022-09-25T22:56:04Z)
• Diverse Video Captioning by Adaptive Spatio-temporal Attention [7.96569366755701]
  エンド・ツー・エンドのエンコーダ・デコーダ・ビデオキャプション・フレームワークには2つのトランスフォーマー・ベースのアーキテクチャが組み込まれている。 本稿では,必要なフレーム数を削減するための適応フレーム選択方式を提案する。 ビデオキャプションに関するセマンティックな概念を,各サンプルのすべての接頭辞の真実を集約することで推定する。
  論文  参考訳（メタデータ） (2022-08-19T11:21:59Z)
• GL-RG: Global-Local Representation Granularity for Video Captioning [52.56883051799501]
  ビデオキャプションのためのGL-RGフレームワーク,すなわちtextbfGlobal-textbfLocal textbfRepresentation textbfGranularityを提案する。 GL-RGは従来の取り組みに対して3つの利点を挙げている: 1) 異なるビデオ範囲から広範囲の視覚表現を明示的に活用して言語表現を改善する; 2) フレーム間の映像コンテンツの記述的粒度を得るために、リッチなセマンティック語彙を生成する新しいグローバルローカルエンコーダを考案する; 3) モデル学習をインクリメンタルに組織し、最適なキャプションを創出するインクリメンタルトレーニング戦略を開発する。
  論文  参考訳（メタデータ） (2022-05-22T02:00:09Z)
• End-to-end Generative Pretraining for Multimodal Video Captioning [82.79187814057313]
  本稿では,未学習ビデオから学習するための新しい事前学習フレームワークであるMV-GPTを提案する。 最近のビデオ言語事前学習フレームワークとは異なり、我々のフレームワークはマルチモーダルビデオエンコーダと文デコーダを共同で訓練する。 本モデルは,4つの標準ベンチマークによるマルチモーダルビデオキャプションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-01-20T16:16:21Z)
• Injecting Semantic Concepts into End-to-End Image Captioning [61.41154537334627]
  本稿では、地域特徴を抽出することなくグリッド表現を使用する、純粋視覚変換器を用いた画像キャプションモデルViTCAPを提案する。 性能向上のために,意味論的概念を予測し,それをエンドツーエンドのキャプションに組み込む新しいコンセプトトークンネットワーク(CTN)を導入する。 特に、CTNは視覚変換器に基づいて構築され、分類タスクを通じて概念トークンを予測するように設計されている。
  論文  参考訳（メタデータ） (2021-12-09T22:05:05Z)
• Controllable Video Captioning with an Exemplar Sentence [89.78812365216983]
  本稿では,エンコーダ・デコーダ・リコンストラクタアーキテクチャに組み込んだ新しいSMCGを提案する。 SMCGはビデオセマンティック表現を入力とし、長期記憶ネットワークのゲートとセルを条件的に変調する。 2つの公開ビデオキャプションデータセットに対して、補助的な例文を収集して実験を行う。
  論文  参考訳（メタデータ） (2021-12-02T09:24:45Z)
• CLIP4Caption: CLIP for Video Caption [9.470254059503862]
  私たちは、CLIP対応ビデオテキストマッチングネットワーク(VTM)に基づくビデオキャプションを改善するCLIP4Captionフレームワークを提案する。 このフレームワークは、視覚と言語の両方からの情報を完全に活用し、テキスト生成のための強力なテキスト関連ビデオ機能を学ぶためにモデルを強制している。
  論文  参考訳（メタデータ） (2021-10-13T10:17:06Z)
• Fusion Models for Improved Visual Captioning [18.016295296424413]
  本稿では,キャプション生成と修正のための汎用マルチモーダルモデル融合フレームワークを提案する。 我々は、事前訓練されたマスケッド言語モデル(MLM)と視覚的キャプションモデル、Viz. Show、Attend、Tellを統合するために、同じ融合戦略を採用している。 Flickr8k, Flickr30k, MSCOCOの3つのベンチマーク画像キャプションデータセットに対するキャプション評価実験では, ベースラインよりも改善が見られた。
  論文  参考訳（メタデータ） (2020-10-28T21:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。