論文の概要: NowYouSee Me: Context-Aware Automatic Audio Description
- arxiv url: http://arxiv.org/abs/2412.10002v1
- Date: Fri, 13 Dec 2024 09:40:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 15:02:46.007649
- Title: NowYouSee Me: Context-Aware Automatic Audio Description
- Title（参考訳）: NowYouSee Me: コンテキスト対応自動オーディオ記述
- Authors: Seon-Ho Lee, Jue Wang, David Fan, Zhikang Zhang, Linda Liu, Xiang Hao, Vimal Bhat, Xinyu Li,
- Abstract要約: 我々は、コンテキスト認識自動音声記述システムのパイオニアである$mathrmCA3D$を紹介した。
提案された$mathrmCA3D$は、ビジュアルキューのみを使用する最初のエンドツーエンドのトレーニングシステムである。
- 参考スコア（独自算出の注目度）: 19.232338111340148
- License:
- Abstract: Audio Description (AD) plays a pivotal role as an application system aimed at guaranteeing accessibility in multimedia content, which provides additional narrations at suitable intervals to describe visual elements, catering specifically to the needs of visually impaired audiences. In this paper, we introduce $\mathrm{CA^3D}$, the pioneering unified Context-Aware Automatic Audio Description system that provides AD event scripts with precise locations in the long cinematic content. Specifically, $\mathrm{CA^3D}$ system consists of: 1) a Temporal Feature Enhancement Module to efficiently capture longer term dependencies, 2) an anchor-based AD event detector with feature suppression module that localizes the AD events and extracts discriminative feature for AD generation, and 3) a self-refinement module that leverages the generated output to tweak AD event boundaries from coarse to fine. Unlike conventional methods which rely on metadata and ground truth AD timestamp for AD detection and generation tasks, the proposed $\mathrm{CA^3D}$ is the first end-to-end trainable system that only uses visual cue. Extensive experiments demonstrate that the proposed $\mathrm{CA^3D}$ improves existing architectures for both AD event detection and script generation metrics, establishing the new state-of-the-art performances in the AD automation.
- Abstract（参考訳）: オーディオ記述(AD)は、マルチメディアコンテンツのアクセシビリティを保証するアプリケーションシステムとして重要な役割を担い、視覚的要素を記述するのに適した間隔で追加のナレーションを提供する。
本稿では,ADイベントスクリプトを長時間の映像コンテンツ中の正確な位置で提供する,コンテキスト認識自動音声記述システムである$\mathrm{CA^3D}$を紹介する。
具体的には、$\mathrm{CA^3D}$システム:
1) 長期間の依存関係を効率的に把握する機能拡張モジュール。
2)ADイベントをローカライズし、AD生成のための識別的特徴を抽出する特徴抑制モジュールを備えたアンカーベースのADイベント検出装置
3) 生成された出力を活用して、ADイベント境界を粗いものから細かいものに変更するセルフリファインメントモジュール。
AD検出および生成タスクのためのメタデータと基底真理のADタイムスタンプに依存する従来の方法とは異なり、$\mathrm{CA^3D}$は視覚的キューのみを使用する最初のエンドツーエンドのトレーニングシステムである。
大規模な実験により、提案された$\mathrm{CA^3D}$は、ADイベント検出とスクリプト生成メトリクスの両方の既存のアーキテクチャを改善し、AD自動化における新しい最先端のパフォーマンスを確立した。
関連論文リスト
- AutoAD-Zero: A Training-Free Framework for Zero-Shot Audio Description [92.72058446133468]
本研究の目的は,映画とテレビシリーズのオーディオ記述(AD)を無訓練で生成することである。
市販のビジュアル言語モデル(VLM)と大規模言語モデル(LLM)のパワーを利用する。
当社のアプローチであるAutoAD-Zeroは、映画とテレビシリーズのAD生成において優れたパフォーマンスを示し、最先端のCRITICスコアを達成しています。
論文 参考訳（メタデータ） (2024-07-22T17:59:56Z) - AutoAD III: The Prequel -- Back to the Pixels [96.27059234129788]
本稿では,映像データを用いたADデータセット構築のための2つのアプローチと,これを用いたトレーニングと評価データセットの構築を提案する。
我々は,凍結した事前学習されたビジュアルエンコーダと大規模言語モデルを用いて,生動画を取り込み,ADを生成するQ-formerベースのアーキテクチャを開発した。
人間のパフォーマンスによく適合したAD品質をベンチマークするために、新しい評価指標を提供する。
論文 参考訳（メタデータ） (2024-04-22T17:59:57Z) - Contextual AD Narration with Interleaved Multimodal Sequence [50.240534605090396]
このタスクは、視覚障害者が映画のような長めのビデオコンテンツにアクセスするのを助けるために、視覚障害者のための視覚要素の記述を作成することを目的としている。
ビデオ機能、テキスト、文字バンク、コンテキスト情報を入力として、生成されたADは名前で文字に対応することができる。
我々は、ADを生成するためのシンプルで統一されたフレームワークを通じて、事前訓練された基礎モデルを活用することを提案する。
論文 参考訳（メタデータ） (2024-03-19T17:27:55Z) - AutoAD II: The Sequel -- Who, When, and What in Movie Audio Description [95.70092272297704]
フレーム,キャストリスト,音声の時間的位置のCLIP視覚的特徴を考慮し,映画ADを自動生成する新しいモデルを開発した。
我々は、アプレットとアプレットの比較において、ADテキスト生成の以前のアーキテクチャよりもどのように改善されているかを実証する。
論文 参考訳（メタデータ） (2023-10-10T17:59:53Z) - TranssionADD: A multi-frame reinforcement based sequence tagging model
for audio deepfake detection [11.27584658526063]
第2回Audio Deepfake Detection Challenge (ADD 2023)は、ディープフェイク音声の検出と分析を目的としている。
本稿では,モデルロバストネスと音声セグメント出力の解法として,新しいTranssionADDシステムを提案する。
提案システムの有効性とロバスト性を実証し, トラック2で2位となった。
論文 参考訳（メタデータ） (2023-06-27T05:18:25Z) - Multi-Modal Classifiers for Open-Vocabulary Object Detection [104.77331131447541]
本論文の目的は,OVOD(Open-vocabulary Object Detection)である。
標準の2段階オブジェクト検出器アーキテクチャを採用する。
言語記述、画像例、これら2つの組み合わせの3つの方法を探究する。
論文 参考訳（メタデータ） (2023-06-08T18:31:56Z) - AutoAD: Movie Description in Context [91.98603496476215]
本稿では,映画を取り込み,ADをテキスト形式で出力する自動音声記述(AD)モデルを提案する。
我々は、GPTやCLIPといった事前訓練された基礎モデルのパワーを活用し、視覚的に条件付けられたテキスト生成のために2つのモデルをブリッジするマッピングネットワークをトレーニングするのみである。
論文 参考訳（メタデータ） (2023-03-29T17:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。