論文の概要: Contextual AD Narration with Interleaved Multimodal Sequence

• arxiv url: http://arxiv.org/abs/2403.12922v1
• Date: Tue, 19 Mar 2024 17:27:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 13:14:11.375061
• Title: Contextual AD Narration with Interleaved Multimodal Sequence
• Title（参考訳）: インターリーブ型マルチモーダルシーケンスを用いた文脈ADナレーション
• Authors: Hanlin Wang, Zhan Tong, Kecheng Zheng, Yujun Shen, Limin Wang,
• Abstract要約: このタスクは、視覚障害者が映画のような長めのビデオコンテンツにアクセスするのを助けるために、視覚障害者のための視覚要素の記述を作成することを目的としている。 ビデオ機能、テキスト、文字バンク、コンテキスト情報を入力として、生成されたADは名前で文字に対応することができる。 我々は、ADを生成するためのシンプルで統一されたフレームワークを通じて、事前訓練された基礎モデルを活用することを提案する。
• 参考スコア（独自算出の注目度）: 50.240534605090396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Audio Description (AD) task aims to generate descriptions of visual elements for visually impaired individuals to help them access long-form video contents, like movie. With video feature, text, character bank and context information as inputs, the generated ADs are able to correspond to the characters by name and provide reasonable, contextual descriptions to help audience understand the storyline of movie. To achieve this goal, we propose to leverage pre-trained foundation models through a simple and unified framework to generate ADs with interleaved multimodal sequence as input, termed as Uni-AD. To enhance the alignment of features across various modalities with finer granularity, we introduce a simple and lightweight module that maps video features into the textual feature space. Moreover, we also propose a character-refinement module to provide more precise information by identifying the main characters who play more significant role in the video context. With these unique designs, we further incorporate contextual information and a contrastive loss into our architecture to generate more smooth and contextual ADs. Experiments on the MAD-eval dataset show that Uni-AD can achieve state-of-the-art performance on AD generation, which demonstrates the effectiveness of our approach. Code will be available at https://github.com/MCG-NJU/Uni-AD.
• Abstract（参考訳）: Audio Description (AD)タスクは、視覚障害者が映画のような長めの映像コンテンツにアクセスするのを助けるために視覚的要素の記述を作成することを目的としている。 ビデオ機能、テキスト、文字バンク、コンテキスト情報を入力として、生成されたADは、名前で文字に対応し、観客が映画のストーリーラインを理解するのに役立つ合理的で文脈的な記述を提供する。 この目的を達成するために,我々は,Uni-ADと呼ばれるインターリーブ型マルチモーダルシーケンスを持つADを入力として生成する,シンプルで統一されたフレームワークを用いて,事前学習された基礎モデルを活用することを提案する。 そこで本研究では,映像特徴をテキスト機能空間にマッピングする,シンプルで軽量なモジュールを提案する。 また,ビデオのコンテキストにおいて,より重要な役割を演じる主キャラクタを特定することで,より正確な情報を提供するキャラクタリファインメントモジュールを提案する。 これらのユニークな設計により、よりスムーズでコンテキスト的なADを生成するために、コンテキスト情報とコントラスト的な損失をアーキテクチャに組み込むことができます。 MAD-evalデータセットを用いた実験により、Uni-ADはAD生成における最先端のパフォーマンスを達成できることが示され、このアプローチの有効性が示された。 コードはhttps://github.com/MCG-NJU/Uni-ADで入手できる。

関連論文リスト

• AutoAD-Zero: A Training-Free Framework for Zero-Shot Audio Description [92.72058446133468]
  本研究の目的は,映画とテレビシリーズのオーディオ記述(AD)を無訓練で生成することである。 市販のビジュアル言語モデル(VLM)と大規模言語モデル(LLM)のパワーを利用する。 当社のアプローチであるAutoAD-Zeroは、映画とテレビシリーズのAD生成において優れたパフォーマンスを示し、最先端のCRITICスコアを達成しています。
  論文  参考訳（メタデータ） (2024-07-22T17:59:56Z)
• DocKylin: A Large Multimodal Model for Visual Document Understanding with Efficient Visual Slimming [33.40963475653868]
  DocKylinは文書中心のMLLMで、ピクセルレベルとトークンレベルの両方でビジュアルコンテンツをスリム化する。 実験では、さまざまなビジュアル文書理解(VDU)ベンチマークでDocKylinの有望な性能を実証した。
  論文  参考訳（メタデータ） (2024-06-27T11:28:36Z)
• Video Enriched Retrieval Augmented Generation Using Aligned Video Captions [1.0878040851638]
  並べられた視覚キャプション」は、大きなコーパス内のビデオの視覚的および音声的内容を表す。 視覚的なキャプションは、オリジナルの基礎モデル/キャプタに特定の視覚的詳細や微調整を促すことで、特定のユースケースに適応することができる。
  論文  参考訳（メタデータ） (2024-05-27T23:39:17Z)
• Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models [56.76307866160105]
  文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。 DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。 提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
  論文  参考訳（メタデータ） (2024-02-29T10:17:27Z)
• AutoAD II: The Sequel -- Who, When, and What in Movie Audio Description [95.70092272297704]
  フレーム,キャストリスト,音声の時間的位置のCLIP視覚的特徴を考慮し,映画ADを自動生成する新しいモデルを開発した。 我々は、アプレットとアプレットの比較において、ADテキスト生成の以前のアーキテクチャよりもどのように改善されているかを実証する。
  論文  参考訳（メタデータ） (2023-10-10T17:59:53Z)
• AutoAD: Movie Description in Context [91.98603496476215]
  本稿では,映画を取り込み,ADをテキスト形式で出力する自動音声記述(AD)モデルを提案する。 我々は、GPTやCLIPといった事前訓練された基礎モデルのパワーを活用し、視覚的に条件付けられたテキスト生成のために2つのモデルをブリッジするマッピングネットワークをトレーニングするのみである。
  論文  参考訳（メタデータ） (2023-03-29T17:59:58Z)
• Tagging before Alignment: Integrating Multi-Modal Tags for Video-Text Retrieval [23.418120617544545]
  近年,映像テキスト検索のための視覚言語アライメント学習が注目されている。 本稿では,タグ付けによってマルチモーダル情報を明示的に統合し,タグをアンカーとして使用することにより,ビデオテキストのアライメントを向上する。 ビデオとテキストの相互作用を強化するために,映像,タグ,テキストのトリプルト入力による共同モーダルエンコーダを構築し,さらに2つの教師付きタスクを実行する。
  論文  参考訳（メタデータ） (2023-01-30T03:53:19Z)
• Identity-Aware Multi-Sentence Video Description [105.13845996039277]
  本稿では,一組のクリップ内に一貫した人物の身元を予測することを目的とした,身元確認の補助的タスクを提案する。 鍵となるコンポーネントの1つは、性別を意識したテキスト表現であり、メインモデルにおける追加の性別予測目標である。 実験の結果,提案したフィリング・イン・ザ・アイデンティティ・モデルは,いくつかのベースラインや最近の研究よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-08-22T09:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。