論文の概要: The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation
- arxiv url: http://arxiv.org/abs/2609.02367v1
- Date: Wed, 02 Sep 2026 09:39:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.218823
- Title: The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation
- Title（参考訳）: 時間的リンクの欠如:スクリプト駆動型オーディオビデオ生成のための時間的コンテキストルーティング
- Abstract要約: テンポラルコンテキストルーティングは、スクリプトのタイミングをビデオとオーディオ生成の共有時間軸にマッピングし、各プロンプトのガイダンスを両方のモードで対応する位置にルーティングする。
TCRは、ベースラインに匹敵する視覚的品質とオーディオ-視覚同期を維持しながら、改善を実現している。
- 参考スコア（独自算出の注目度）: 25.85634818515491
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Joint audio-video generation models have made substantial progress in visual quality and audio-visual synchronization. However, they still provide limited control over when shot transitions occur and dialogue is spoken. This limitation constrains their application in script-driven content creation, where timing errors can undermine narrative coherence and the viewing experience. Current joint generators align video and audio representations on a shared temporal axis, yet the precise timing of shots and dialogue specified in a structured prompt is encoded only in the prompt's text representation and remains unaligned with the temporal coordinates of either modality. Consequently, video and audio may remain synchronized with each other while both fail to follow the script timeline. This mismatch motivates us to extend temporal alignment beyond video and audio to include the structured script. We therefore introduce Temporal Context Routing (TCR), which maps the script timing onto the shared temporal axis of video and audio generation and routes each prompt's guidance to the corresponding positions in both modalities. Compared with the baseline on 200 test scripts, TCR reduces Shot Boundary MAE by 96%, from 1.11 s to 0.042 s, and raises Dialogue Acc@0.5 s from 28.3% to 84.1%. TCR achieves these improvements while maintaining visual quality and audio-visual synchronization comparable to those of the baselines. A user study further shows that participants prefer TCR on all five evaluated dimensions.
- Abstract（参考訳）: 共同音声・ビデオ生成モデルは、視覚的品質と音声・視覚的同期に大きな進歩をもたらした。
しかし、ショットトランジションが発生して対話が話されるときの制御は制限されている。
この制限により、スクリプト駆動のコンテンツ作成において、タイミングエラーが物語のコヒーレンスや視聴体験を損なう可能性がある。
現在のジョイントジェネレータは、ビデオとオーディオの表現を共有時間軸に整列させるが、構造化プロンプトで指定されたショットと対話の正確なタイミングはプロンプトのテキスト表現にのみ符号化され、どちらのモードも時間座標に一致しない。
その結果、ビデオとオーディオは互いに同期するが、どちらもスクリプトのタイムラインに従わない。
このミスマッチは、構造化されたスクリプトを含むために、ビデオやオーディオ以外の時間的アライメントを拡張する動機となります。
そこで我々は,TCR(Temporal Context Routing)を導入し,スクリプトのタイミングをビデオとオーディオの共有時間軸にマッピングし,各プロンプトのガイダンスを両モードで対応する位置にルーティングする。
200のテストスクリプトのベースラインと比較して、TCRはShot Boundary MAEの96%を1.11秒から0.042秒に削減し、ダイアログAcc@0.5秒を28.3%から84.1%に引き上げた。
TCRは、ベースラインと同等の視覚的品質とオーディオ-視覚同期を維持しながら、これらの改善を実現している。
さらにユーザスタディでは、参加者が5つの評価次元すべてでTCRを好むことが示されている。
関連論文リスト
- MAVIN: Multi-Shot Audio-Visual Generation with Narrative Control [66.04301887685004]
既存の手法は、時間的ミスアライメント、制限された制御性、不完全なスクリプティングに悩まされている。
我々は、カスタマイズされた物語制御によるマルチショット映像生成のための最初のフレームワークであるMAVINを提案する。
MAVINは最先端のパフォーマンスを実現し、生成モデルをプロの映画製作に組み込む新たな道を開く。
論文 参考訳（メタデータ） (2026-06-28T16:01:04Z) - OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains [50.186434778589415]
音声-視覚的質問回答(QA)のための現在の自動パイプラインは、一般的にビデオキャプション-QA'のパラダイムを採用している。
textbfEntity-Anchored Video Scripting' と textbfClue-Guided QA Generation' という2つのメカニズムを備えた自動データエンジンを提案する。
論文 参考訳（メタデータ） (2026-06-12T17:59:55Z) - LongAV-Compass: Towards Unified Evaluation of Minute-Scale Audio-Visual Generation Across T2AV, I2AV, and V2AV [39.241237759347825]
LongAV-は、マイクロ・オーディオ・ビジュアル・ジェネレーションのための体系的なベンチマークである。
テキスト・トゥ・オーディオ・ビデオ(T2AV)、画像・トゥ・オーディオ・ビデオ(I2AV)、ビデオ・トゥ・オーディオ・ビデオ(V2AV)にまたがる284のテストケースで構成されている。
このフレームワークは、音質、断面積の整合性、大域的な物語のコヒーレンス、セマンティックアライメント、オーディオ視覚アライメントをカバーする20以上のきめ細かい寸法を評価する。
論文 参考訳（メタデータ） (2026-05-25T18:12:09Z) - CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing [76.74048814837336]
映画ダビングは、ターゲット映像中の唇の動きと同期しながら、参照音声の音声アイデンティティを保持する音声を合成することを目的としている。
既存の方法は正確なリップシンクを達成できず、持続時間レベルでの明示的なアライメントによって自然性を欠いている。
認知同期拡散変換器(CoSync-DiT)により駆動される新しいフローマッチング型フィルムダビングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-14T05:03:57Z) - FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts [33.4228845956243]
FoleyDirectorは、DiTベースのV2A生成において正確な時間的ガイダンスを可能にするフレームワークである。
ベースモデルのオーディオ品質を保ち、V2A生成と時間的に制御された合成をシームレスに切り替えることができる。
論文 参考訳（メタデータ） (2026-03-20T11:19:29Z) - Exploiting Temporal Audio-Visual Correlation Embedding for Audio-Driven One-Shot Talking Head Animation [62.218932509432314]
従来,隣接する音声クリップの時間的関係は,対応する映像フレームの時間的関係と強く相関している。
音声と視覚の相関関係を学習し,その相関関係を統合し,特徴表現の強化と最終生成の正規化を支援する。
論文 参考訳（メタデータ） (2025-04-08T07:23:28Z) - Zero-Shot Audio-Visual Editing via Cross-Modal Delta Denoising [114.39028517171236]
そこで我々は,ゼロショット音声映像編集を導入し,新たなモデルトレーニングを必要とせず,特定のテキストプロンプトに合わせるために,オリジナル音声映像コンテンツを変換する新しいタスクを提案する。
この課題を評価するために、ゼロショットオーディオビデオ編集用に明示的に設計されたベンチマークデータセットAvED-Benchをキュレートする。
AvEDは、AvED-Benchと最近のOAVEデータセットの両方で優れた結果を示し、その一般化能力を検証する。
論文 参考訳（メタデータ） (2025-03-26T17:59:04Z) - Empowering LLMs with Pseudo-Untrimmed Videos for Audio-Visual Temporal Understanding [36.20990265600332]
PU-VALORは114,000本以上の擬似アンリム化ビデオと詳細な時間的アノテーションを含む包括的オーディオ視覚データセットである。
PU-VALORは、イベントベースのビデオクラスタリングを含む微妙な方法で、大規模だが粗い注釈付きオーディオ視覚データセットVALORから派生した。
AVicunaは、音声・視覚イベントを時間間隔と対応するテキストトークンに整列できるモデルである。
論文 参考訳（メタデータ） (2024-03-24T19:50:49Z) - Sparse in Space and Time: Audio-visual Synchronisation with Trainable
Selectors [103.21152156339484]
本研究の目的は,一般映像の「野生」音声・視覚同期である。
我々は4つのコントリビューションを行う: (i) スパース同期信号に必要な長時間の時間的シーケンスを処理するために、'セレクタ'を利用するマルチモーダルトランスモデルを設計する。
音声やビデオに使用される圧縮コーデックから生じるアーティファクトを識別し、トレーニングにおいてオーディオ視覚モデルを用いて、同期タスクを人工的に解くことができる。
論文 参考訳（メタデータ） (2022-10-13T14:25:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。