論文の概要: Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling

• arxiv url: http://arxiv.org/abs/2604.23586v1
• Date: Sun, 26 Apr 2026 07:48:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.448957
• Title: Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling
• Title（参考訳）: Talker-T2AV:自己回帰拡散モデルを用いた共同音声合成
• Authors: Zhen Ye, Xu Tan, Aoxiong Yin, Hongzhan Lin, Guangyan Zhang, Peiwen Sun, Yiming Li, Chi-Min Chan, Wei Ye, Shikun Zhang, Wei Xue,
• Abstract要約: 本研究では,共有バックボーン内で高レベルなクロスモーダルモデリングを行う自己回帰拡散フレームワークであるTalker-T2AVを提案する。 共有自己回帰言語モデルは、統一されたパッチレベルのトークン空間において、オーディオとビデオに対して共同で原因となる。 ポートレートベンチマークの実験では、Talker-T2AVはリップシンク精度、ビデオ品質、オーディオ品質において、デュアルブランチベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 59.97930201616015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint audio-video generation models have shown that unified generation yields stronger cross-modal coherence than cascaded approaches. However, existing models couple modalities throughout denoising via pervasive attention, treating high-level semantics and low-level details in a fully entangled manner. This is suboptimal for talking head synthesis: while audio and facial motion are semantically correlated, their low-level realizations (acoustic signals and visual textures) follow distinct rendering processes. Enforcing joint modeling across all levels causes unnecessary entanglement and reduces efficiency. We propose Talker-T2AV, an autoregressive diffusion framework where high-level cross-modal modeling occurs in a shared backbone, while low-level refinement uses modality-specific decoders. A shared autoregressive language model jointly reasons over audio and video in a unified patch-level token space. Two lightweight diffusion transformer heads decode the hidden states into frame-level audio and video latents. Experiments on talking portrait benchmarks show Talker-T2AV outperforms dual-branch baselines in lip-sync accuracy, video quality, and audio quality, achieving stronger cross-modal consistency than cascaded pipelines.
• Abstract（参考訳）: 共同音声・ビデオ生成モデルでは、統一生成はカスケードアプローチよりも強いモーダルコヒーレンスをもたらすことが示されている。 しかし、既存のモデルは、広範に注意を払い、ハイレベルなセマンティクスと低レベルな詳細を完全に絡み合った方法で扱うことで、デノベーション全体を通してモダリティを分け合っている。 音声と顔の動きは意味的に相関するが、それらの低レベルな実現(音響信号と視覚的テクスチャ)は異なるレンダリングプロセスに従う。 あらゆるレベルの関節モデリングを強制することは、不要な絡み合いを引き起こし、効率を低下させる。 本研究では,高レベルのクロスモーダルモデリングが共有バックボーン内で発生する自己回帰拡散フレームワークであるTalker-T2AVを提案する。 共有自己回帰言語モデルは、統一されたパッチレベルのトークン空間において、オーディオとビデオに対して共同で原因となる。 2つの軽量拡散トランスフォーマーヘッドは、隠れた状態をフレームレベルのオーディオおよびビデオラテントにデコードする。 ポートレートベンチマークの実験では、Talker-T2AVは、リップ同期精度、ビデオ品質、オーディオ品質においてデュアルブランチベースラインを上回っ、カスケードパイプラインよりも強力なクロスモーダル一貫性を実現している。

関連論文リスト

• LTX-2: Efficient Joint Audio-Visual Foundation Model [3.1804093402153506]
  LTX-2は、時間的に同期されたオーディオヴィジュアルコンテンツを生成できるオープンソースモデルである。 より広範な理解のために多言語テキストエンコーダを用いる。 LTX-2は、各シーンのキャラクター、環境、スタイル、感情に従うリッチでコヒーレントなオーディオトラックを生成する。
  論文  参考訳（メタデータ） (2026-01-06T18:24:41Z)
• Omni2Sound: Towards Unified Video-Text-to-Audio Generation [56.11583645408007]
  Video-to-audio (V2A), text-to-audio (T2A), joint video-text-to-audio (VT2A) を統合した統一モデルのトレーニングは,アプリケーションの柔軟性を向上する。 SoundAtlasは大規模なデータセット(470万ペア)で、既存のベンチマークや品質の専門家よりもはるかに優れています。 フレキシブルな入力モダリティをサポートする統一VT2A拡散モデルであるOmni2Soundを提案する。
  論文  参考訳（メタデータ） (2026-01-06T05:49:41Z)
• StableDub: Taming Diffusion Prior for Generalized and Efficient Visual Dubbing [63.72095377128904]
  視覚的ダビングタスクは、運転音声と同期した口の動きを生成することを目的としている。 音声のみの運転パラダイムは、話者固有の唇習慣を不十分に捉えている。 Blind-inpaintingアプローチは、障害を処理する際に視覚的なアーティファクトを生成する。
  論文  参考訳（メタデータ） (2025-09-26T05:23:31Z)
• Landmark-guided Diffusion Model for High-fidelity and Temporally Coherent Talking Head Generation [22.159117464397806]
  本稿では2段階拡散モデルを提案する。 第1段階では、与えられた音声に基づいて、同期された顔のランドマークを生成する。 第二段階では、これらの生成されたランドマークは、口のジッタ問題を最適化し、高忠実で、よく同期し、時間的に一貫性のあるトーキーヘッドビデオを生成することを目的として、デノナイジングプロセスにおける条件として機能する。
  論文  参考訳（メタデータ） (2024-08-03T10:19:38Z)
• MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation [70.74377373885645]
  本稿では,視聴体験と視聴体験を同時に実現する,初の共同音声ビデオ生成フレームワークを提案する。 MM拡散(MM-Diffusion)は、設計による共同記述プロセスのための連続的なマルチモーダルなU-Netで構成されている。 実験は、無条件のオーディオビデオ生成とゼロショット条件付タスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:11:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。