論文の概要: Encore: Infinite Audio-Video Generation with Adaptive Signal Routing

• arxiv url: http://arxiv.org/abs/2609.04249v1
• Date: Fri, 28 Aug 2026 18:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.74943
• Title: Encore: Infinite Audio-Video Generation with Adaptive Signal Routing
• Title（参考訳）: Encore:適応的な信号ルーティングを備えた無限のオーディオビデオ生成
• Abstract要約: 既存のオーディオビデオ生成手法は、同期のよいクリップを生成するが、短い時間に限られる。 長ビデオ生成法は、チャンクベースの反復合成によって持続時間を延長するが、完全に音声を欠いている。 本稿では,ロングフォーム同期オーディオビデオ生成のためのEncoreを提案する。
• 参考スコア（独自算出の注目度）: 22.689981874924943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing audio-video generation methods produce well-synchronized clips but are limited to short durations, while long-video generation methods extend duration through chunk-based iterative synthesis yet lack audio entirely. Generating long audio-video jointly is fundamentally harder than either task alone: each chunk must simultaneously maintain video temporal coherence, audio temporal coherence, and cross-modal synchronization, whose conditioning signals enter the model through different pathways. In this work, we present Encore for long-form synchronized audio-video generation. Our key insight is to factor this challenge into: (1) local continuity handled by iterative generation with explicit cross-chunk context propagation, and (2) global consistency enforced via reference audio-video signals with shifted position embedding. Building on this design, we propose Adaptive Signal Routing (ASR), which introduces learnable attention biases within self-attention and learnable residual scales on cross-attention outputs, enabling the model to adaptively modulate the influence of each conditioning signal. Trained end-to-end for joint audio-video generation, Encore also supports infinite-length audio-to-video and video-to-audio synthesis at inference by conditioning on the ground-truth modality throughout the denoising process. Experiments on our extended VerseBench for long audio-video evaluation demonstrate that Encore significantly outperforms existing methods in both generation quality and temporal coherence. Code and data for this paper are at https://github.com/shaohua-pan/Encore.
• Abstract（参考訳）: 既存の音声ビデオ生成手法は、十分に同期化されたクリップを生成するが、短い時間に制限されている。 各チャンクは、ビデオ時間的コヒーレンス、オーディオ時間的コヒーレンス、およびモード間の同期を同時に維持する必要がある。 本研究では,ロングフォーム同期オーディオビデオ生成のためのEncoreを提案する。 この課題を,(1)明示的なクロスチャンクコンテキスト伝搬を伴う反復生成によって処理される局所的連続性,(2)シフトした位置埋め込みを持つ参照オーディオ映像信号によって強制される大域的整合性,の2つに分解する。 この設計に基づいて,学習可能なアダプティブ・シグナル・ルーティング(ASR)を提案し,学習可能なアダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダスト・アダプティブ・アダプティブ・アダスト・アダプティブ・アダプティブ・アダプティブ・アダストリート・インダストリート・オープティブ(ASR)を提案する。 共同オーディオビデオ生成のためのエンドツーエンドで訓練されたEncoreは、音声合成と音声合成を、デノナイジングプロセス全体を通じて、地味なモードを条件にすることで、推論時に無限長のオーディオ合成をサポートする。 長大な音声・ビデオ評価のためのVerseBenchの拡張実験により、Encoreは生成品質と時間的コヒーレンスの両方において既存の手法よりも大幅に優れていた。 この論文のコードとデータはhttps://github.com/shaohua-pan/Encore.comにある。

関連論文リスト

• Efficient Audio-Visual Generation via Synchrony-Aware Cross-Modal Sparse Attention [31.052048543229464]
  効率的な音声視覚生成のための同期対応アクセラレーションフレームワークを提案する。 提案手法は,映像品質,音声品質,音声とビデオの同期を保ちながら,推論効率を向上させる。
  論文  参考訳（メタデータ） (2026-08-16T04:26:05Z)
• OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation [73.57253966578186]
  OmniVAEは、音声とビデオの潜伏表現の微粒なセマンティックアライメントを学習する、共同で訓練されたオーディオビデオVAEである。 実験により、両方の目的が常に潜在空間の学習性を改善することが示された。
  論文  参考訳（メタデータ） (2026-07-26T21:51:28Z)
• Diffusion Models for Joint Audio-Video Generation [51.56484100374058]
  高品質でペアのオーディオビデオデータセットを2つリリースします。 データセットのスクラッチからMM-拡散アーキテクチャをトレーニングします。 逐次2段階のテキスト・オーディオ・ビデオ生成パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-17T03:31:37Z)
• Foley-Flow: Coordinated Video-to-Audio Generation with Masked Audio-Visual Alignment and Dynamic Conditional Flows [75.44753202066171]
  ビデオ入力に基づくコーディネートオーディオ生成は、通常、厳格なオーディオ・ビジュアル・アライメント(AV)を必要とする。 マスク付きモデリングトレーニングにより,まずFoleyFlowを用いて非モード型AVエンコーダのアライメントを行う。 トレーニング後、単調データのみを用いて個別に事前訓練されたAVエンコーダは、意味的およびリズム的整合性に整合する。
  論文  参考訳（メタデータ） (2026-03-09T09:06:25Z)
• ViSAudio: End-to-End Video-Driven Binaural Spatial Audio Generation [55.76423101183408]
  ViSAudioは、条件付きフローマッチングとデュアルブランチオーディオ生成アーキテクチャを利用するエンドツーエンドフレームワークである。 空間浸漬による高品質なオーディオを生成し、視点の変化、音源の動き、様々な音響環境に適応する。
  論文  参考訳（メタデータ） (2025-12-02T18:56:12Z)
• SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos [38.40457780873775]
  SALSA-Vは,サイレントビデオコンテンツから高同期・高忠実長音声を合成できるマルチモーダルビデオ・オーディオ生成モデルである。 提案手法では,非拘束長音声系列の音声条件生成とシームレスな合成を可能にする。 SALSA-Vは,映像コンテンツと音声の協調・同期の両面で,定量的評価と人間の聴取研究において,既存の最先端手法を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2025-10-03T11:37:50Z)
• StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation [91.45910771331741]
  オーディオ駆動型アバタービデオ生成のための現在の拡散モデルでは、自然な音声同期とアイデンティティの整合性を備えた長ビデオの合成が困難である。 本稿では,無限長高画質映像を後処理なしで合成する最初のエンドツーエンドビデオ拡散変換器であるStableAvatarについて述べる。
  論文  参考訳（メタデータ） (2025-08-11T17:58:24Z)
• End to End Lip Synchronization with a Temporal AutoEncoder [95.94432031144716]
  ビデオ中の唇の動きをオーディオストリームと同期させる問題について検討する。 両領域再帰型ニューラルネットワークを用いて最適アライメントを求める。 アプリケーションとして、既存のビデオストリームとテキストから音声までの音声を強力にアライメントする能力を実証する。
  論文  参考訳（メタデータ） (2022-03-30T12:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。