論文の概要: Real-Time Joint Audio-Video Generation by Parallel Adapter Composition

• arxiv url: http://arxiv.org/abs/2610.10343v2
• Date: Thu, 08 Oct 2026 04:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.550467
• Title: Real-Time Joint Audio-Video Generation by Parallel Adapter Composition
• Title（参考訳）: 並列アダプタ合成による実時間共同オーディオ映像生成
• Abstract要約: ストリーミングビデオ文学は、チェーンパイプラインから両方の能力を得る。 因果アダプタは凍結したバックボーンに対して訓練され、既製の数ステップのアダプタは数ステップの機能を提供する。 2つのアダプタは単純に推論時に追加され、ジョイントトレーニングがなく、数ステップのストリーミングオーディオビデオが得られる。
• 参考スコア（独自算出の注目度）: 35.996652140697655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying a joint audio-video diffusion transformer for real-time, interactive generation normally requires two essential modifications: block-autoregressive attention, so frames can be emitted before the whole clip is finished, and few-step sampling, so each block is cheap. Conventionally, the streaming video literature obtains both capabilities from a chained pipeline. It first distills a bidirectional teacher into a causal student, then into a few-step one, or proceeds in reverse order. Each stage of such a chain fine-tunes the weights the previous one produced, so a later objective can undo an earlier capability. Following the idea of model merging, we show that on a packed audio-video backbone the two capabilities can be acquired in parallel. A causal adapter is trained against the frozen backbone, and an off-the-shelf few-step adapter provides the few-step capability. As the two edit different functional axes, we predict, and then verify, that their weight-update directions are near-orthogonal, without any explicit orthogonality constraint during training. Orthogonal updates should combine without interfering, so parallel composition is a direct sum. The two adapters are simply added at inference, with no joint training, yielding few-step, streaming audio-video whose image quality tracks the bidirectional teacher. Compared to the chained baselines, the composed model matches or beats them on most metrics, making parallel composition a practical approach. The resulting streaming system generates joint audio-video in real time, $\approx$26 fps at $480\times832$ without quantization, and sustains 30 s of continuous generation with stable image quality. Demo Page: https://pac-demo-2027.github.io/demo/
• Abstract（参考訳）: リアルタイム、インタラクティブな生成には、通常2つの重要な変更が必要である: ブロック自己回帰的注意: クリップ全体が完了する前にフレームを出力し、数ステップのサンプリングを行うため、ブロックは安価である。 従来、ストリーミングビデオ文学は、チェーンパイプラインから両方の能力を得る。 最初は双方向の教師を因果的な学生に蒸留し、その後数ステップに分割するか、逆順に進む。 このような鎖の各段階は、前の段階が生成した重量を微調整するので、後続の目的は、以前の能力を解き放つことができる。 モデルマージのアイデアに従えば,オーディオビデオのバックボーンに2つの機能を並列に取得できることが分かる。 因果アダプタは凍結したバックボーンに対して訓練され、既製の数ステップのアダプタは数ステップの機能を提供する。 両者が異なる機能軸を編集すると、トレーニング中に明示的な直交制約を伴わず、重み付けされた方向がほぼ直交的であることを予測し、検証する。 直交更新は干渉することなく組み合わせるべきなので、並列合成は直接的な和である。 2つのアダプタは単純に推論時に追加され、ジョイントトレーニングなしで、画像品質が双方向の教師を追跡できる数ステップのストリーミングオーディオビデオが得られる。 連鎖したベースラインと比較すると、合成されたモデルはほとんどのメトリクスで一致または打ち負かされるため、並列合成は実用的なアプローチである。 生成されたストリーミングシステムは、リアルタイムにジョイントオーディオビデオを生成し、$\approx$26 fps、$480\times832$を量子化せずに生成し、安定した画質で30秒連続する。 Demo Page: https://pac-demo-2027.github.io/demo/

関連論文リスト

• DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution [16.570672947240855]
  7Bジェネレータをベースとしたコンパクトなジョイントビデオ生成システムであるDreamX-Creator 1.0について述べる。 統合されたオーディオビデオデータシステムは、時間的に一貫性のあるクリップを構築し、フィルタし、構造化されたマルチモーダルアノテーションを生成し、クリップを機能指向のデータプールに整理する。 高分解能出力のために、我々のAutoregressive 1-Step 2K Refinement Pipelineは、双方向多段階教師を自動回帰多段階精錬器に適応させる。
  論文  参考訳（メタデータ） (2026-08-31T17:11:05Z)
• UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos [23.032949794607106]
  講演ビデオにおける音声と視覚の相互同一性をストリーミングする最初のフレームワークであるUniSwapについて紹介する。 実験では、強い音声と視覚の同期、競争力のあるアイデンティティ保存、効率的なストリーミング、安定したロングフォーム生成が示される。
  論文  参考訳（メタデータ） (2026-08-12T07:45:39Z)
• Mutual Forcing: Dual-Mode Self-Evolution for Fast Autoregressive Audio-Video Character Generation [86.69465782855086]
  Mutual Forcingは、長時間のオーディオ-ビデオ同期を伴う高速自動回帰オーディオ-ビデオ生成のためのフレームワークである。 提案手法は,ジョイント・オーディオ・ビデオ・モデリングと高速自己回帰生成という2つの課題に対処する。
  論文  参考訳（メタデータ） (2026-04-28T16:28:05Z)
• Diffusion Models for Joint Audio-Video Generation [51.56484100374058]
  高品質でペアのオーディオビデオデータセットを2つリリースします。 データセットのスクラッチからMM-拡散アーキテクチャをトレーニングします。 逐次2段階のテキスト・オーディオ・ビデオ生成パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-17T03:31:37Z)
• Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation [5.304004483404346]
  Oviは、2つのモードを単一の生成プロセスとしてモデル化するオーディオビデオ生成の統一パラダイムである。 何十万時間もの生のオーディオをゼロから学習し、現実的な音響効果を生み出すことを学ぶ。 本モデルでは,自然音声による映像ストーリーテリングと,映像レベルの映像クリップを制作し,コンテキストマッチングの精度の高い音響効果を実現する。
  論文  参考訳（メタデータ） (2025-09-30T21:03:50Z)
• StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation [91.45910771331741]
  オーディオ駆動型アバタービデオ生成のための現在の拡散モデルでは、自然な音声同期とアイデンティティの整合性を備えた長ビデオの合成が困難である。 本稿では,無限長高画質映像を後処理なしで合成する最初のエンドツーエンドビデオ拡散変換器であるStableAvatarについて述べる。
  論文  参考訳（メタデータ） (2025-08-11T17:58:24Z)
• Learning from One Continuous Video Stream [70.30084026960819]
  1つの連続ビデオストリームからオンライン学習のためのフレームワークを導入する。 連続するビデオフレーム間の高い相関を考えると、これは大きな課題となる。 プリトレーニングとシングルストリーム評価を切り替える実用的で柔軟な方法として,ピクセル・ツー・ピクセル・モデリングを採用している。
  論文  参考訳（メタデータ） (2023-12-01T14:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。