論文の概要: StrAD: A Streaming Method and Benchmark for Audio Description Generation for Long-form Videos
- arxiv url: http://arxiv.org/abs/2608.12549v1
- Date: Wed, 12 Aug 2026 19:39:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.316994
- Title: StrAD: A Streaming Method and Benchmark for Audio Description Generation for Long-form Videos
- Title（参考訳）: StrAD:ロングフォームビデオのための音声記述生成のためのストリーミング手法とベンチマーク
- Abstract要約: 映画,ドキュメンタリー,短編映画,パフォーマンス,ビデオゲームなど,さまざまなジャンルにまたがるフル長ビデオの長期AD生成のためのベンチマークであるStrADを紹介する。
提案手法では,フル長動画をスライディングウィンドウで処理し,既存の文字起こしにADを挿入する。
与えられたタイムスタンプを用いたセグメントレベルタスクでは、細調整されたStrAD-FTが36.3 CIDEr (+10.0 over Shot-by-shot) でCMD-AD上のアートの状態を設定し、StrAD (51.0 CIDEr) に基準点を確立し、MAD-E 上で競争力を維持する。
- 参考スコア（独自算出の注目度）: 16.585176367435682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual content is the dominant medium of communication, yet without audio descriptions (ADs), it remains inaccessible to blind and low-vision people. ADs narrate context-relevant visual events during natural audio pauses. Manually creating ADs is expensive, limiting coverage to a small fraction of available content. Most existing automatic AD generation methods frame the task as video clip captioning, requiring ground-truth timestamps and additional context cues such as character databases. Current benchmarks reinforce this framing, consisting of short video segments paired with automatic or task-mismatched annotations. We introduce StrAD, a benchmark for long-form AD generation on full-length videos spanning diverse genres such as movies, documentaries, short films, performances, and video games. We reformulate AD generation as streaming dense video captioning. Our approach processes full-length videos with a sliding window, inserting ADs into existing transcripts without ground-truth timestamps, and supports both fine-tuned models and zero-shot prompting of vision-language models. On the segment-level task with given timestamps, our fine-tuned StrAD-FT sets the state of the art on CMD-AD with 36.3 CIDEr (+10.0 over Shot-by-shot), establishes a reference point on StrAD (51.0 CIDEr), and remains competitive on MAD-Eval at 24.9 CIDEr. On the full-video streaming task, StrAD-FT reaches a SODA score of 2.4 against 1.1 for our zero-shot baseline StrAD-Zero, though both exhibit limitations in temporal localization and narrative coherence. While prior work has tackled full-video AD generation in an offline, multi-stage fashion, ours is the first streaming approach, generating ADs on the fly without ground-truth timestamps. StrAD makes progress on full-video AD generation measurable, a prerequisite for scaling accessibility.
- Abstract（参考訳）: 視覚コンテンツはコミュニケーションの主流であるが、音声記述(AD)がなければ、盲人や低視野の人々にはアクセスできない。
ADは、自然な音声停止中にコンテキスト関連視覚イベントをナレーションする。
手動でADを作成するのは高価で、カバー範囲は利用可能なコンテンツのごく一部に限られる。
多くの既存の自動AD生成手法は、タスクをビデオクリップキャプションとして表し、地味なタイムスタンプと文字データベースのような追加のコンテキストキューを必要とする。
現在のベンチマークでは、このフレーミングを強化しており、自動またはタスクミスマッチしたアノテーションと組み合わせた短いビデオセグメントで構成されている。
映画,ドキュメンタリー,短編映画,パフォーマンス,ビデオゲームなど,さまざまなジャンルにまたがるフル長ビデオの長期AD生成のためのベンチマークであるStrADを紹介する。
ストリーム高密度動画キャプションとしてAD生成を再構成する。
提案手法では,スライディングウィンドウでフル長映像を処理し,既存の文字起こしにADを挿入し,微調整モデルとゼロショットプロンプトの両方をサポートする。
与えられたタイムスタンプを用いたセグメントレベルタスクでは、細調整されたStrAD-FTが36.3 CIDEr(+10.0 over Shot-by-shot)でCMD-ADの最先端をセットし、StrAD(51.0 CIDEr)の基準点を確立し、24.9 CIDErでMAD-Evalで競合し続ける。
フルビデオストリーミングタスクでは、ゼロショットベースラインであるStrAD-ZeroのSODAスコアが2.4対1となるが、どちらも時間的ローカライゼーションと物語コヒーレンスに制限がある。
これまでの作業では、オフラインのマルチステージ方式でフルビデオAD生成に取り組みましたが、私たちの最初のストリーミングアプローチは、地上のタイムスタンプを使わずに、オンザフライでADを生成することです。
StrADは、アクセシビリティのスケーリングの前提条件であるフルビデオAD生成を計測する。
関連論文リスト
- From Visual Cues to Spoken Narration: Rethinking Audio Description [56.77584893970582]
Cue2Narrateは2段階のパイプラインで、長い動画クリップで何といつナレーションするかを共同で予測する。
デュアルヘッド音声視覚ローカライザは、AD発話毎に2つの時間的に異なるウィンドウを予測する。
ロラ適応VLMは予測された視覚的証拠から簡潔なADを生成する。
論文 参考訳（メタデータ） (2026-09-01T18:00:50Z) - REFRAMED: Towards Realistic Audio Description Generation for Movies [53.11641004249926]
オーディオ記述(Audio Description、AD)は、ビデオにおける重要な視覚的内容の言葉によるナレーションであり、視覚障害のある聴衆へのアクセスを可能にする。
既存のアプローチは、記述の内容とタイミングの両方を事前に指定した人工的な環境でAD生成を定式化する。
我々は、モデルが何を記述し、いつ実行するかを共同で決めなければならないAD生成の新しい定式化を導入する。
論文 参考訳（メタデータ） (2026-08-10T15:55:56Z) - OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains [50.186434778589415]
音声-視覚的質問回答(QA)のための現在の自動パイプラインは、一般的にビデオキャプション-QA'のパラダイムを採用している。
textbfEntity-Anchored Video Scripting' と textbfClue-Guided QA Generation' という2つのメカニズムを備えた自動データエンジンを提案する。
論文 参考訳（メタデータ） (2026-06-12T17:59:55Z) - TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions [64.27159505605312]
提案するOmni Captioningは,明示的なタイムスタンプによる連続的,きめ細かな,構造化された視覚的物語を生成するために設計された新しいタスクである。
密接なセマンティックカバレッジを確保するため、私たちは6次元構造スキーマを導入し、"script-like"キャプションを作成します。
大規模な実験により、TimeChat-Captioner-7BはGemini-2.5-Proを抜いて最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2026-02-09T14:21:58Z) - MCAD: Multimodal Context-Aware Audio Description Generation For Soccer [8.83668236549788]
我々は,映画以外のAD生成をスポーツ分野に拡張するエンドツーエンドパイプライン MCAD を提案する。
公開映画ADデータセット上でビデオ大言語モデルを微調整し、ADの物語構造と慣習を学習する。
生成したADの品質を正確に評価するための新しい評価指標ARGE-ADを導入する。
論文 参考訳（メタデータ） (2025-11-12T16:05:05Z) - Shot-by-Shot: Film-Grammar-Aware Training-Free Audio Description Generation [110.79299467093006]
ビデオ理解の基本単位として「ショット」を活用する2段階フレームワークを提案する。
これには、隣接するショットへの時間的コンテキストの拡張や、ショットスケールやスレッド構造などのフィルム文法装置の導入が含まれる。
我々の手法は、オープンソースとプロプライエタリなVisual-Language Modelsの両方と互換性がある。
論文 参考訳（メタデータ） (2025-04-01T17:59:57Z) - DANTE-AD: Dual-Vision Attention Network for Long-Term Audio Description [19.14915136673913]
DANTE-ADは、デュアルビジョントランスフォーマーアーキテクチャを利用した拡張ビデオ記述モデルである。
そこで本研究では,音素の微粒な記述生成のためのコンテキストグラウンド化を実現するために,シーケンシャルなクロスアテンションのための新しい最先端手法を提案する。
論文 参考訳（メタデータ） (2025-03-31T13:49:43Z) - DistinctAD: Distinctive Audio Description Generation in Contexts [62.58375366359421]
本研究では,より優れた物語を生成するために,特徴性を重視した音声記述を生成するためのフレームワークであるDistinctADを提案する。
ドメインギャップに対処するために、追加のADコーパスを必要としないCLIP-AD適応戦略を導入する。
ステージIIでは、DistinctADは2つの重要なイノベーションを取り入れている: (i) コンテクスト予測最大化注意(EMA)モジュールは、連続するビデオクリップから共通のベースを抽出することで冗長性を低減し、 (ii) コンテキスト内の繰り返し単語をフィルタリングする明確な単語予測損失である。
論文 参考訳（メタデータ） (2024-11-27T09:54:59Z) - AutoAD: Movie Description in Context [91.98603496476215]
本稿では,映画を取り込み,ADをテキスト形式で出力する自動音声記述(AD)モデルを提案する。
我々は、GPTやCLIPといった事前訓練された基礎モデルのパワーを活用し、視覚的に条件付けられたテキスト生成のために2つのモデルをブリッジするマッピングネットワークをトレーニングするのみである。
論文 参考訳（メタデータ） (2023-03-29T17:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。