論文の概要: Text with Knowledge Graph Augmented Transformer for Video Captioning
- arxiv url: http://arxiv.org/abs/2303.12423v2
- Date: Sat, 25 Mar 2023 10:40:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 21:35:23.372742
- Title: Text with Knowledge Graph Augmented Transformer for Video Captioning
- Title（参考訳）: ビデオキャプションのための知識グラフ拡張トランスフォーマー付きテキスト
- Authors: Xin Gu, Guang Chen, Yufei Wang, Libo Zhang, Tiejian Luo, Longyin Wen
- Abstract要約: ビデオキャプションのための知識グラフ付テキスト変換器(TextKG)を提案する。
TextKGは、外部ストリームと内部ストリームによって形成される2ストリームトランスフォーマーである。
提案手法は最先端の手法に対して好適に機能する。
- 参考スコア（独自算出の注目度）: 28.718399770898195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video captioning aims to describe the content of videos using natural
language. Although significant progress has been made, there is still much room
to improve the performance for real-world applications, mainly due to the
long-tail words challenge. In this paper, we propose a text with knowledge
graph augmented transformer (TextKG) for video captioning. Notably, TextKG is a
two-stream transformer, formed by the external stream and internal stream. The
external stream is designed to absorb additional knowledge, which models the
interactions between the additional knowledge, e.g., pre-built knowledge graph,
and the built-in information of videos, e.g., the salient object regions,
speech transcripts, and video captions, to mitigate the long-tail words
challenge. Meanwhile, the internal stream is designed to exploit the
multi-modality information in videos (e.g., the appearance of video frames,
speech transcripts, and video captions) to ensure the quality of caption
results. In addition, the cross attention mechanism is also used in between the
two streams for sharing information. In this way, the two streams can help each
other for more accurate results. Extensive experiments conducted on four
challenging video captioning datasets, i.e., YouCookII, ActivityNet Captions,
MSRVTT, and MSVD, demonstrate that the proposed method performs favorably
against the state-of-the-art methods. Specifically, the proposed TextKG method
outperforms the best published results by improving 18.7% absolute CIDEr scores
on the YouCookII dataset.
- Abstract（参考訳）: ビデオキャプションは、自然言語を用いてビデオの内容を記述することを目的としている。
大幅な進展はあったが、主に長い単語の難しさのために、現実世界のアプリケーションの性能を改善する余地がまだたくさんある。
本稿では,ビデオキャプションのための知識グラフ付テキスト変換器(TextKG)を提案する。
特にTextKGは、外部ストリームと内部ストリームによって形成される2ストリームトランスフォーマーである。
外部ストリームは、事前構築された知識グラフなどの追加知識とビデオの内蔵情報、例えば、有能なオブジェクト領域、音声書き起こし、ビデオキャプションの間の相互作用をモデル化し、長い尾の単語の課題を軽減するために、追加知識を吸収するように設計されている。
一方、内部ストリームは、ビデオ中のマルチモダリティ情報(例えば、ビデオフレーム、音声転写、ビデオキャプションの出現)を利用して、キャプション結果の品質を保証するように設計されている。
また、2つのストリーム間の情報共有には、クロスアテンション機構も使用されている。
このようにして、2つのストリームは互いにより正確な結果を得るのに役立つ。
YouCookII, ActivityNet Captions, MSRVTT, MSVD の4つの挑戦的ビデオキャプションデータセットを用いた大規模な実験により,提案手法が最先端の手法に対して良好に動作することを示す。
具体的には、提案したTextKG法は、YouCookIIデータセットの18.7%の絶対CIDErスコアを改善して、最高の結果よりも優れている。
関連論文リスト
- Towards Holistic Language-video Representation: the language model-enhanced MSR-Video to Text Dataset [4.452729255042396]
より堅牢で総合的な言語とビデオの表現が、ビデオの理解を前進させる鍵だ。
現在の平易で単純なテキスト記述と、言語ビデオタスクに対する視覚のみの焦点は、現実世界の自然言語ビデオ検索タスクにおいて限られた能力をもたらす。
本稿では,ビデオ言語データセットを自動的に拡張し,モダリティと文脈認識を向上する手法を提案する。
論文 参考訳（メタデータ） (2024-06-19T20:16:17Z) - Video-Teller: Enhancing Cross-Modal Generation with Fusion and
Decoupling [79.49128866877922]
Video-Tellerは、マルチモーダル融合と微粒なモーダルアライメントを利用するビデオ言語基盤モデルである。
Video-Tellerは、凍結した事前訓練されたビジョンと言語モジュールを利用することで、トレーニング効率を高める。
大規模言語モデルの堅牢な言語機能を活用し、簡潔かつ精巧なビデオ記述の生成を可能にする。
論文 参考訳（メタデータ） (2023-10-08T03:35:27Z) - Does Video Summarization Require Videos? Quantifying the Effectiveness
of Language in Video Summarization [37.09662541127891]
入力ビデオのサイズが要約されるため、コンピュータビジョンにおいてビデオの要約は依然として大きな課題である。
本稿では,高いデータ効率で競合精度を実現する,効率的な言語のみの映像要約器を提案する。
論文 参考訳（メタデータ） (2023-09-18T00:08:49Z) - Exploring the Role of Audio in Video Captioning [59.679122191706426]
本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。
本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
論文 参考訳（メタデータ） (2023-06-21T20:54:52Z) - InstructVid2Vid: Controllable Video Editing with Natural Language Instructions [97.17047888215284]
InstructVid2Vidは、人間の言語命令でガイドされたビデオ編集のためのエンドツーエンドの拡散ベースの方法論である。
我々のアプローチは、自然言語ディレクティブによって案内される映像操作を強化し、サンプルごとの微調整や逆変換の必要性を排除します。
論文 参考訳（メタデータ） (2023-05-21T03:28:13Z) - Implicit and Explicit Commonsense for Multi-sentence Video Captioning [33.969215964292395]
本稿では,暗黙的(視覚言語と純粋言語)と明示的(知識ベース)のコモンセンス知識を考慮に入れた,トランスフォーマーに基づく新しいビデオキャプションモデルを提案する。
我々は,これらの形態の知識が,単独で,かつ組み合わせて,生成したキャプションの品質を高めることを示す。
論文 参考訳（メタデータ） (2023-03-14T00:19:11Z) - Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection
to Image-Text Pre-Training [70.83385449872495]
映像モーメント検索(VMR)における視覚とテキストの相関
既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。
本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
論文 参考訳（メタデータ） (2023-02-28T19:29:05Z) - Contrastive Graph Multimodal Model for Text Classification in Videos [9.218562155255233]
我々は、マルチモーダル情報を融合させることで、ビデオテキスト分類の新しい課題に最初に対処する。
レイアウト情報を明示的に抽出することで特徴表現を強化するために、相関ネットと呼ばれる特定のモジュールを調整します。
我々は、ビデオテキスト認識および分類アプリケーションの構築と評価を目的とした、TI-Newsと呼ばれるニュースドメインから、明確に定義された新しい産業データセットを構築した。
論文 参考訳（メタデータ） (2022-06-06T04:06:21Z) - DVCFlow: Modeling Information Flow Towards Human-like Video Captioning [163.71539565491113]
既存の手法は主に個々のビデオセグメントからキャプションを生成するが、グローバルな視覚的コンテキストへの適応が欠如している。
映像のシーケンスやキャプションによって変化するプログレッシブな情報をモデル化するために,情報フローの概念を導入する。
提案手法は, 競争基準を著しく上回り, 主観的, 客観的なテストにより, より人間的なテキストを生成する。
論文 参考訳（メタデータ） (2021-11-19T10:46:45Z) - CLIP4Caption: CLIP for Video Caption [9.470254059503862]
私たちは、CLIP対応ビデオテキストマッチングネットワーク(VTM)に基づくビデオキャプションを改善するCLIP4Captionフレームワークを提案する。
このフレームワークは、視覚と言語の両方からの情報を完全に活用し、テキスト生成のための強力なテキスト関連ビデオ機能を学ぶためにモデルを強制している。
論文 参考訳（メタデータ） (2021-10-13T10:17:06Z) - Watch and Learn: Mapping Language and Noisy Real-world Videos with
Self-supervision [54.73758942064708]
我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。
トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
論文 参考訳（メタデータ） (2020-11-19T03:43:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。