論文の概要: From Visual Cues to Spoken Narration: Rethinking Audio Description
- arxiv url: http://arxiv.org/abs/2609.01725v1
- Date: Tue, 01 Sep 2026 18:00:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:17.768035
- Title: From Visual Cues to Spoken Narration: Rethinking Audio Description
- Title（参考訳）: ビジュアルクイズから音声ナレーション:オーディオ記述の再考
- Abstract要約: Cue2Narrateは2段階のパイプラインで、長い動画クリップで何といつナレーションするかを共同で予測する。
デュアルヘッド音声視覚ローカライザは、AD発話毎に2つの時間的に異なるウィンドウを予測する。
ロラ適応VLMは予測された視覚的証拠から簡潔なADを生成する。
- 参考スコア（独自算出の注目度）: 56.77584893970582
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Audio Description (AD) provides spoken narration of visual events during dialogue gaps, making movies accessible to visually impaired audiences. The problem requires determining both what (which visual event) and when (position for inserting the AD) to narrate, to achieve the best user experience. Prior work has largely reduced the problem to video captioning of pre-segmented video clips, i.e., what is largely predefined and when is ignored entirely. We propose Cue2Narrate, a two-stage pipeline that jointly predicts what and when to narrate in longer untrimmed movie clips. A dual-head audio-visual localizer predicts two temporally distinct windows per AD utterance: a visual cue window and a spoken narration window. A LoRA-adapted VLM then generates concise ADs from the predicted visual evidence, trained with a Description Ranking Loss that ranks captions (negative samples) of the same frames lower than the GT AD. To benchmark this new problem statement, we introduce the LongLSMDC benchmark with up to 8-min movie clips (~6.5min on average). On LongLSMDC, Cue2Narrate outperforms video-only and audio-only localization baselines by 5--12 points in avg. mAP. Under both predicted- and GT-window evaluation, Cue2Narrate improves AD generation over the corresponding fine-tuned base VLM. These results establish the first benchmark for multi-segment AD generation on long-form clips. Data & Code: https://github.com/multimodal-ai-lab/Cue2Narrate
- Abstract（参考訳）: 音声記述 (AD) は、対話中の視覚イベントの音声ナレーションを提供し、視覚障害のある観客に映画をアクセスできるようにする。
問題は、最高のユーザエクスペリエンスを達成するために、何(どの視覚イベント)といつ(AD挿入の条件)をナレーションするかを決定する必要がある。
以前の作業は、ビデオクリップのプレセグメンテーションのキャプション、すなわち、主に事前定義され、いつ完全に無視されるかに問題を大幅に減らしてきた。
Cue2Narrateは2段階のパイプラインで、長い動画クリップで何といつナレーションするかを共同で予測する。
デュアルヘッド音声視覚ローカライザは、AD発話毎に2つの時間的に異なるウィンドウ(ビジュアルキューウィンドウと音声ナレーションウィンドウ)を予測する。
LoRAに適応したVLMは、予測された視覚的証拠から簡潔なADを生成し、GT ADよりも低いフレームのキャプション(負のサンプル)をランク付けする記述ランク付け損失(Description Ranking Loss)で訓練する。
この新たな問題ステートメントをベンチマークするために、最大8分間のフィルムクリップ(平均で約6.5分)を備えたLongLSMDCベンチマークを導入する。
LongLSMDCでは、Cue2Narrateはビデオのみのローカライゼーションベースラインとオーディオのみのローカライゼーションベースラインをvgで5～12ポイント上回る。
MAP
Cue2Narrateは予測ウィンドウとGTウィンドウの両方で、対応する微調整ベースVLMよりもAD生成を改善する。
これらの結果は、長大クリップ上でのマルチセグメントAD生成のための最初のベンチマークとなる。
Data & Code: https://github.com/multimodal-ai-lab/Cue2Narrate
関連論文リスト
- Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding [59.773752487686444]
エッジデバイスに対する長いビデオ理解は、厳格な計算と帯域幅の予算の下で何時間ものコンテンツを引き起こす必要がある。
予算対応のエッジクラウドエージェントフレームワークであるCaption-once, Frames-onDemandを提案する。
長時間ビデオベンチマークの実験では、オンラインビジュアル処理を大幅に削減しながら、高い精度と効率のトレードオフを示す。
論文 参考訳（メタデータ） (2026-09-10T17:53:59Z) - StrAD: A Streaming Method and Benchmark for Audio Description Generation for Long-form Videos [16.585176367435682]
映画,ドキュメンタリー,短編映画,パフォーマンス,ビデオゲームなど,さまざまなジャンルにまたがるフル長ビデオの長期AD生成のためのベンチマークであるStrADを紹介する。
提案手法では,フル長動画をスライディングウィンドウで処理し,既存の文字起こしにADを挿入する。
与えられたタイムスタンプを用いたセグメントレベルタスクでは、細調整されたStrAD-FTが36.3 CIDEr (+10.0 over Shot-by-shot) でCMD-AD上のアートの状態を設定し、StrAD (51.0 CIDEr) に基準点を確立し、MAD-E 上で競争力を維持する。
論文 参考訳（メタデータ） (2026-08-12T19:39:17Z) - REFRAMED: Towards Realistic Audio Description Generation for Movies [53.11641004249926]
オーディオ記述(Audio Description、AD)は、ビデオにおける重要な視覚的内容の言葉によるナレーションであり、視覚障害のある聴衆へのアクセスを可能にする。
既存のアプローチは、記述の内容とタイミングの両方を事前に指定した人工的な環境でAD生成を定式化する。
我々は、モデルが何を記述し、いつ実行するかを共同で決めなければならないAD生成の新しい定式化を導入する。
論文 参考訳（メタデータ） (2026-08-10T15:55:56Z) - What You See is What You Ask: Evaluating Audio Descriptions [27.76958202277314]
数分間のコヒーレントなビデオセグメントでADを評価するQAベンチマークであるADQAを提案する。
現在のAD生成手法は、人間が作成したADよりもはるかに遅れていることを示す。
論文 参考訳（メタデータ） (2025-10-01T12:14:15Z) - Exploiting Temporal Audio-Visual Correlation Embedding for Audio-Driven One-Shot Talking Head Animation [62.218932509432314]
従来,隣接する音声クリップの時間的関係は,対応する映像フレームの時間的関係と強く相関している。
音声と視覚の相関関係を学習し,その相関関係を統合し,特徴表現の強化と最終生成の正規化を支援する。
論文 参考訳（メタデータ） (2025-04-08T07:23:28Z) - Audio-centric Video Understanding Benchmark without Text Shortcut [49.01648001666229]
音声視覚大言語モデル(LLM)の映像理解タスクにおける補助的モダリティとして機能することも多い。
本稿では,マルチモーダルLLMの映像理解能力を評価するために,AVUT(Audio-centric video understanding benchmark)を提案する。
論文 参考訳（メタデータ） (2025-03-25T16:28:24Z) - AV-Odyssey Bench: Can Your Multimodal LLMs Really Understand Audio-Visual Information? [65.49972312524724]
マルチモーダルな大言語モデル(MLLM)は、視覚とオーディオのモダリティを含む機能を拡張した。
提案したDeafTestは、MLLMが人間にとって簡単なタスクとよく戦っていることを示している。
AV-Odyssey Benchは、これらのMLLMが真にオーディオ視覚情報を理解できるかどうかを評価するために設計された総合的なオーディオ視覚ベンチマークである。
論文 参考訳（メタデータ） (2024-12-03T17:41:23Z) - Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language [77.33458847943528]
DenseAVは、ビデオ視聴のみで高解像度、意味論的、音声視覚的に整合した特徴を学習する、新しいデュアルエンコーダ基盤アーキテクチャである。
そこで本研究では,DenseAVによる単語の「意味」と音の「位置」の特定が可能であることを明らかにした。
論文 参考訳（メタデータ） (2024-06-09T03:38:21Z) - Fine-grained Audio-Visual Joint Representations for Multimodal Large
Language Models [25.660343393359565]
本稿では,マルチモーダル大言語モデル(LLM)のための微細な音声-視覚共同表現(FAVOR)学習フレームワークを提案する。
FAVORは、音声入力ストリーム内の音声および音声イベントと、視覚入力ストリーム内の画像またはビデオを、フレームレベルで同時に知覚する。
FAVORのインタラクティブなデモはhttps://github.com/BriansIDP/AudioVisualLLM.gitで公開されている。
論文 参考訳（メタデータ） (2023-10-09T17:00:20Z) - Dual-path Attention is All You Need for Audio-Visual Speech Extraction [34.7260610874298]
音声視覚機能を融合する新しい方法を提案する。
提案アルゴリズムは,視覚的特徴を付加的な特徴ストリームとして組み込む。
その結果,他の時間領域ベース音声-視覚融合モデルと比較して優れた結果が得られた。
論文 参考訳（メタデータ） (2022-07-09T07:27:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。