論文の概要: Mind The Gap (MTG-AD): Dataset and Fine-grained Evaluation for End-to-End Inline Audio Descriptions

• arxiv url: http://arxiv.org/abs/2610.39955v1
• Date: Thu, 29 Oct 2026 12:51:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.085636
• Title: Mind The Gap (MTG-AD): Dataset and Fine-grained Evaluation for End-to-End Inline Audio Descriptions
• Title（参考訳）: Mind the Gap (MTG-AD): エンド・トゥ・エンドインラインオーディオ記述のためのデータセットときめ細かい評価
• Abstract要約: MLLMによるインライン音声記述の包括的検討を行う。 MTG-ADは36時間の動画のデータセットで、それぞれが$sim$5 minsと8k以上の説明を平均化しています。 音声記述エキスパートガイドラインに基づく評価フレームワークMTG-AD-Evalを提案する。
• 参考スコア（独自算出の注目度）: 15.08874079517504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio descriptions (AD) are essential for making visual media accessible to blind and low-vision (BLV) users. While Multimodal Large Language Models (MLLMs) offer a scalable solution for generating audio descriptions on-demand, their performance on ``inline'' audio descriptions -- which must fit within existing silences in a video -- remains under-explored, particularly for diverse user-generated content (UGC). We present a comprehensive investigation into MLLM-generated inline audio descriptions. First, we introduce MTG-AD, a professionally annotated dataset of 36 hours of videos, each averaging $\sim$5 mins. and 8k+ descriptions in total, co-created by paired blind and sighted AD professionals to provide a high-quality benchmark for this task. Second, we propose MTG-AD-Eval, an evaluation framework based on audio description expert guidelines that provides fine-grained, reference-free actionable metrics for model improvement. Crucially, our framework evaluates the end-to-end task: it renders the generated scripts into audio tracks to assess their fit within the original video's natural silences, minimizing disruptive overlaps. Our analysis across frontier MLLMs reveals that while models accurately describe visual events and substantially reduce speech overlaps, gaps persist in narrative pacing and flow. Finally, we empirically validate that our automated and reference-free metrics correlate significantly with human quality ratings from sighted raters and 7 BLV participants, finding that while users narrowly prefer human-authored audio descriptions, they find MLLM-generated audio descriptions highly beneficial for comprehension. We provide actionable system design guidance and release MTG-AD at https://hf.co/datasets/google/mind-the-gap-inline-ad and MTG-AD-Eval at https://github.com/google/mtg-ad.
• Abstract（参考訳）: 視覚メディアの視覚的記述(AD)は、視覚的メディアを視覚的かつ低視的(BLV)なユーザへアクセスするために不可欠である。 Multimodal Large Language Models (MLLM)は、オンデマンドでオーディオ記述を生成するためのスケーラブルなソリューションを提供するが、'inline'のオーディオ記述 -- ビデオの既存の沈黙に適合しなければならない -- のパフォーマンスは、特に多様なユーザ生成コンテンツ(UGC)に関して、未調査のままである。 MLLMによるインライン音声記述の包括的検討を行う。 まず、36時間のビデオのプロ向け注釈付きデータセットであるMTG-ADを紹介します。 視覚障害者と視覚障害者が共同で作成した8k以上の説明は、このタスクに高品質なベンチマークを提供する。 第2に、MTG-AD-Evalは、モデル改善のための細粒度で参照不要なアクション可能なメトリクスを提供する、音声記述専門家ガイドラインに基づく評価フレームワークである。 このフレームワークは、生成したスクリプトをオーディオトラックにレンダリングし、元のビデオの自然な沈黙に適合し、破壊的なオーバーラップを最小限に抑える。 また,フロンティアMLLMを用いて分析した結果,モデルが視覚事象を正確に記述し,音声の重なりを著しく低減する一方で,物語のペーシングやフローにおけるギャップが持続していることが判明した。 最後に、我々の自動および参照なしメトリクスは、視認性評価者や7人のBLV参加者の人間の品質評価と著しく相関していることを実証的に検証し、ユーザが狭義に人間による音声記述を好みながら、MLLMによる音声記述は理解に非常に有益であることを示した。 動作可能なシステム設計ガイダンスとリリース MTG-AD at https://hf.co/datasets/google/mind-the-gap-inline-ad と MTG-AD-Eval at https://github.com/google/mtg-ad。

関連論文リスト

• REFRAMED: Towards Realistic Audio Description Generation for Movies [53.11641004249926]
  オーディオ記述(Audio Description、AD)は、ビデオにおける重要な視覚的内容の言葉によるナレーションであり、視覚障害のある聴衆へのアクセスを可能にする。 既存のアプローチは、記述の内容とタイミングの両方を事前に指定した人工的な環境でAD生成を定式化する。 我々は、モデルが何を記述し、いつ実行するかを共同で決めなければならないAD生成の新しい定式化を導入する。
  論文  参考訳（メタデータ） (2026-08-10T15:55:56Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• Audio Does Matter: Importance-Aware Multi-Granularity Fusion for Video Moment Retrieval [58.640807985155554]
  Video Moment Retrieval (VMR)は、特定のクエリに関連する特定のモーメントを検索することを目的としている。 既存のVMRメソッドの多くは、補完的ではあるが重要なオーディオのモダリティを無視しながら、視覚的およびテキスト的モダリティにのみ焦点をあてている。 本稿では,VMRの音声ビジョンコンテキストを動的かつ選択的に集約する,新しいImportance-Aware Multi-Granularity fusion Model (IMG)を提案する。
  論文  参考訳（メタデータ） (2025-08-06T09:58:43Z)
• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。