論文の概要: What, When, and How: Audio Description as Constrained Global Optimization

• arxiv url: http://arxiv.org/abs/2609.30121v1
• Date: Thu, 24 Sep 2026 16:56:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.133111
• Title: What, When, and How: Audio Description as Constrained Global Optimization
• Title（参考訳）: 制約付きグローバル最適化としての音声記述
• Abstract要約: 音声説明(Audio Description, AD)は、視覚的な情報を対話のギャップの中で物語ることで、視覚障害者や視覚障害者に映画をアクセスできるようにする。 既存の自動ADシステムは、記述するコンテンツとその時間的位置が既に提供されていると仮定して、生成をローカルなビデオ・テキスト問題として扱う。 これら3つの決定に対して,AD生成を制約付き最適化問題として定式化する。 我々のハイブリッドシステムは,大規模言語モデルを用いて視覚的要素の提案と接地を行い,物語への敬意を推定し,圧縮された実現を生成する。
• 参考スコア（独自算出の注目度）: 53.11641004249926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio Description (AD) makes movies accessible to blind and visually impaired audiences by narrating visual information in gaps between dialogue. Existing automatic AD systems largely treat generation as a local video-to-text problem, assuming that the content to describe and its temporal location are already provided. Realistic AD instead requires coupled decisions about what visual information is narratively important, when it can be spoken without interfering with dialogue, and how it should be formulated to fit within the available time. We formalize AD generation as a constrained optimization problem over these three decisions. Our hybrid system uses large language models to propose and ground visual elements, estimate their salience to the narrative, and generate compressed realizations. A mixed-integer linear program then jointly selects and schedules descriptions across a scene subject to temporal constraints. When evaluated on REFRAMED, a benchmark for realistic AD of movies, our approach makes better decisions than prompted LLMs about what to describe and when to describe it, establishing a new SOTA on narrative QA and temporally grounded metrics. Ablations show that explicit temporal constraints drive gains in placement, while salience estimation controls how much narratively useful content is retained. Improvements are concentrated on temporal and narrative measures rather than n-gram overlap, although a significant gap to professional describers remains.
• Abstract（参考訳）: 音声説明(Audio Description, AD)は、視覚的な情報を対話のギャップの中で物語ることで、視覚障害者や視覚障害者に映画をアクセスできるようにする。 既存の自動ADシステムは、記述するコンテンツとその時間的位置が既に提供されていると仮定して、生成をローカルなビデオ・テキスト問題として扱う。 リアル・アダプティブ・アダプティブ (Realistic AD) は、その代わりに、物語的に重要な視覚情報が何であるか、対話に干渉せずに話すことができる時期、利用可能な時間内にどのように表現されるべきか、といった、複合的な決定を必要とする。 これら3つの決定に対して,AD生成を制約付き最適化問題として定式化する。 我々のハイブリッドシステムは,大規模言語モデルを用いて視覚的要素の提案と接地を行い,物語への敬意を推定し,圧縮された実現を生成する。 混合整数線形プログラムは、時間的制約を受けるシーン全体で記述を共同で選択しスケジュールする。 実写映画ADのベンチマークであるREFRAMEDで評価すると、この手法はLCMに何を記述するか、いつ説明するかの判断をし、物語QAと時間的基準に基づく新たなSOTAを確立する。 アブレーションは、明示的な時間的制約によって配置が向上することを示しているが、サリエンス推定は、物語的に有用なコンテンツがどれだけ保持されているかを制御する。 改善はn-gramオーバーラップよりも時間的・物語的尺度に集中しているが、プロの解説者にとって大きなギャップは残る。

関連論文リスト

• From Visual Cues to Spoken Narration: Rethinking Audio Description [56.77584893970582]
  Cue2Narrateは2段階のパイプラインで、長い動画クリップで何といつナレーションするかを共同で予測する。 デュアルヘッド音声視覚ローカライザは、AD発話毎に2つの時間的に異なるウィンドウを予測する。 ロラ適応VLMは予測された視覚的証拠から簡潔なADを生成する。
  論文  参考訳（メタデータ） (2026-09-01T18:00:50Z)
• Beyond Visual Boundaries: Rethinking Scene Segmentation for Movie RAG [26.7662002828488]
  検索拡張世代(RAG)は、グラウンドドジェネレーションのための関連ビデオセグメントを選択的に検索することで、有望な中間層を提供する。 映画理解のためのRAGについて検討し,何時間ものコンテンツにまたがるキャラクター,イベント,物語の弧について,ストーリーレベルの推論を求める。 物語中心のシーンセグメンテーションデータセットであるNarraSceneを紹介する。
  論文  参考訳（メタデータ） (2026-08-27T14:25:32Z)
• REFRAMED: Towards Realistic Audio Description Generation for Movies [53.11641004249926]
  オーディオ記述(Audio Description、AD)は、ビデオにおける重要な視覚的内容の言葉によるナレーションであり、視覚障害のある聴衆へのアクセスを可能にする。 既存のアプローチは、記述の内容とタイミングの両方を事前に指定した人工的な環境でAD生成を定式化する。 我々は、モデルが何を記述し、いつ実行するかを共同で決めなければならないAD生成の新しい定式化を導入する。
  論文  参考訳（メタデータ） (2026-08-10T15:55:56Z)
• StoryTeller: Training-Free Narrative Grounding for Long-Form Audio Description [2.26752781534698]
  本稿では,ストーリーアウェアな長文音声記述のための学習自由フレームワークを提案する。 StoryTellerは検証済みの物語記憶を維持しており、シーン全体でストーリー関連情報を転送している。
  論文  参考訳（メタデータ） (2026-07-13T16:50:03Z)
• More than a Moment: Towards Coherent Sequences of Audio Descriptions [88.14731697642098]
  オーディオ記述(AD)は、視覚障害者が動画をフォローできるように、スクリーン上の必須情報を伝える。 ほとんどの自動手法はそれぞれのADを独立に生成し、しばしば反復的で一貫性のない記述をもたらす。 本稿では、まずAD間隔毎に複数の候補記述を生成し、次にシーケンス間で自動回帰選択を行う、トレーニング不要な方法であるCoherentADを提案する。
  論文  参考訳（メタデータ） (2025-10-29T12:06:42Z)
• DistinctAD: Distinctive Audio Description Generation in Contexts [62.58375366359421]
  本研究では,より優れた物語を生成するために,特徴性を重視した音声記述を生成するためのフレームワークであるDistinctADを提案する。 ドメインギャップに対処するために、追加のADコーパスを必要としないCLIP-AD適応戦略を導入する。 ステージIIでは、DistinctADは2つの重要なイノベーションを取り入れている: (i) コンテクスト予測最大化注意(EMA)モジュールは、連続するビデオクリップから共通のベースを抽出することで冗長性を低減し、 (ii) コンテキスト内の繰り返し単語をフィルタリングする明確な単語予測損失である。
  論文  参考訳（メタデータ） (2024-11-27T09:54:59Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• NarrativeBridge: Enhancing Video Captioning with Causal-Temporal Narrative [19.79736018383692]
  既存のビデオキャプションベンチマークとモデルは因果的物語を欠いている。 この物語の欠如は、ビデオコンテンツに固有の因果的・時間的ダイナミクスをキャプチャするテキスト記述を生成するモデルの能力を制限する。 本研究では,(1)大規模言語モデルと少数ショットプロンプトを用いて生成された新規な因果的ナラティブ(CTN)キャプションベンチマークと,(2)原因と影響のダイナミクスを捉えるための別エンコーダを備えた因果効果ネットワーク(CEN)とからなるアプローチであるナラティブブリッジを提案する。
  論文  参考訳（メタデータ） (2024-06-10T17:34:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。