論文の概要: LeapTalk: Breaking the Latency-Quality Trade-off in Talking Head Generation
- arxiv url: http://arxiv.org/abs/2608.00079v1
- Date: Wed, 29 Jul 2026 14:44:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.399345
- Title: LeapTalk: Breaking the Latency-Quality Trade-off in Talking Head Generation
- Title（参考訳）: LeapTalk: ヘッドジェネレーションにおけるレイテンシと品質のトレードオフを破る
- Abstract要約: 本稿では,一つの前進ステップで,安定かつリアルタイムな対話ヘッド生成を実現する新しいフレームワークである LeapTalkを提案する。
提案手法は,最大200FPSの1ステップで高忠実かつ時間的に一貫したビデオ生成を実現する。
- 参考スコア（独自算出の注目度）: 28.818825505825476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-form and real-time talking-head generation remains challenging due to a latency-quality trade-off: inefficient multi-step diffusion prohibits streaming generation, whereas real-time autoregressive approaches suffer from error accumulation and identity drift. To address this drawback, we propose LeapTalk, a novel framework that achieves stable and real-time talking-head generation with a single forward step, scaling to arbitrarily long videos. At the heart of our approach lies a single-step bridge distillation scheme. On the one hand, departing from the conventional noise-to-data paradigm, we introduce a data-to-data transport formulation based on a Brownian bridge. Anchored by a persistent reference, this strategy effectively mitigates identity drift and enhances long-term temporal stability. On the other hand, to enable smooth knowledge transfer from a pre-trained diffusion teacher to the student bridge model, we explore a heterogeneous distillation framework with an SNR-aligned time transformation $Φ(τ)$, which bridges the functional discrepancy between the two models. Moreover, we propose an audio-driven classifier-free guidance mechanism to maintain fine-grained lip synchronization under extreme step reduction. Extensive experiments demonstrate that our method achieves high-fidelity and temporally consistent video generation with only 1 step at up to 200 FPS, significantly outperforming existing approaches in both efficiency and stability. Project Page: https://zhangrongxiang.github.io/leaptalk-page/
- Abstract（参考訳）: 非効率なマルチステップ拡散はストリーミング生成を禁止しますが、リアルタイムの自己回帰アプローチはエラーの蓄積とアイデンティティドリフトに悩まされます。
この欠点に対処するため,我々は,安定かつリアルタイムな対話ヘッド生成を単一のステップで実現し,任意の長さの動画に拡張する新しいフレームワークである LeapTalkを提案する。
私たちのアプローチの核心は、シングルステップのブリッジ蒸留スキームにあります。
一方、従来のノイズ・ツー・データ・パラダイムから離れ、ブラウン橋に基づくデータ・ツー・データ・トランスポートの定式化を導入する。
この戦略は、永続的な参照によって、アイデンティティドリフトを効果的に緩和し、長期的な時間的安定性を高める。
一方、事前学習した拡散教師から学生の橋梁モデルへのスムーズな知識伝達を可能にするため、SNR対応の時間変換を99(τ)$とする不均一蒸留フレームワークを探索し、2つのモデル間の機能的相違を橋渡しする。
さらに,過度なステップ短縮の下での微細な唇同期を維持するために,音声駆動型分類器フリー誘導機構を提案する。
広汎な実験により,最大200FPSの1ステップで高忠実かつ時間的に一貫した映像生成を実現し,効率と安定性の両面で既存手法よりも優れていた。
Project Page: https://zhangrongxiang.github.io/leaptalk-page/
関連論文リスト
- FlowLong: Inference-time Long Video Generation via Manifold-constrained Tweedie Matching [68.01498128172214]
本稿では,アーキテクチャに依存しない,追加のトレーニングを必要としない長大なビデオ生成のための,斬新でシンプルな推論時間アプローチを提案する。
提案手法では,隣接するウィンドウからのクリーンサンプルをemphTweedieマッチングでブレンドし,テキストbfmanifoldの制約と重複領域間の時間的一貫性を強制する。
本手法は, 時間的一貫性と視覚的品質において, トレーニング不要, 自己回帰ベースラインを両立させながら, ネイティブウィンドウ長よりも数倍長大のビデオを生成する。
論文 参考訳（メタデータ） (2026-05-20T08:55:37Z) - OmniForcing: Unleashing Real-time Joint Audio-Visual Generation [51.031726911410594]
最近のジョイントオーディオ・視覚拡散モデルは、優れた生成品質を実現するが、高いレイテンシーに悩まされる。
OmniForcingは、オフラインの双方向拡散モデルを高忠実度ストリーミングオートレジェネレータに蒸留する最初のフレームワークである。
論文 参考訳（メタデータ） (2026-03-12T08:17:36Z) - Streaming Autoregressive Video Generation via Diagonal Distillation [50.13573884115673]
自己回帰モデルは、シーケンシャルフレーム合成のための自然なフレームワークを提供するが、高い忠実性を達成するためには重い計算を必要とする。
ビデオチャンクとデノイングステップの時間的情報を活用するために,ダイアゴナル蒸留を提案する。
本手法は,2.61秒(最大31FPS)で5秒ビデオを生成し,未蒸留モデル上で277.3倍のスピードアップを実現する。
論文 参考訳（メタデータ） (2026-03-10T10:45:24Z) - HiAR: Efficient Autoregressive Long Video Generation via Hierarchical Denoising [52.237486207964245]
HiARは階層的なデノベーションフレームワークで、従来の世代順を逆転させる。
発声ステップ毎に全てのブロックを因果生成し、各ブロックが常に同じノイズレベルでコンテキストで条件付けされるようにする。
VBench(20世代)では、HiARは比較したすべての方法の中で最高の総合スコアと最低時間ドリフトを達成する。
論文 参考訳（メタデータ） (2026-03-09T17:58:16Z) - TempoSyncDiff: Distilled Temporally-Consistent Diffusion for Low-Latency Audio-Driven Talking Head Generation [0.0]
本稿では,参照条件付き潜在拡散フレームワークであるTempoSyncDiffを紹介する。
効率的な音声駆動音声ヘッド生成のための数ステップの推論を探索する。
このフレームワークはアイデンティティアンカーと、アイデンティティドリフトとフレーム間フリックを緩和するために設計された時間的正規化を備えている。
論文 参考訳（メタデータ） (2026-03-06T09:09:01Z) - Predict to Skip: Linear Multistep Feature Forecasting for Efficient Diffusion Transformers [10.751183015853863]
拡散変換器(DiT)は高忠実度画像とビデオ生成のバックボーンとして広く採用されている。
線形多段階問題として特徴予測を定式化する,トレーニング不要なアクセラレーションフレームワークである textbfPrediT を提案する。
提案手法は,DiTベースの画像およびビデオ生成モデル間で最大5.54タイムのレイテンシ低減を実現し,品質劣化を生じさせる。
論文 参考訳（メタデータ） (2026-02-20T09:33:59Z) - EchoTorrent: Towards Swift, Sustained, and Streaming Multi-Modal Video Generation [8.795438456031512]
マルチモーダル生成モデルは、高い視覚的品質を達成するが、その禁止されたレイテンシと時間的安定性は、リアルタイムなデプロイメントを妨げている。
ストリーミング推論はこれらの問題を悪化させ、ぼやけ、時間的ドリフト、唇のデクロナイゼーションといったマルチモーダルな曖昧さが顕著になる。
複数教師による異なる嗜好領域の事前学習モデルを微調整し、適応MDD(ACCDMD)は、スケジュールを介して段階的に音のCFG劣化誤差を校正する、Long Hybrid Tailは、長い水平自転期間に尾フレームのみにアライメントを強制する。
論文 参考訳（メタデータ） (2026-02-14T08:32:38Z) - LoL: Longer than Longer, Scaling Video Generation to Hour [50.945885467651216]
この研究は、品質劣化の少ないリアルタイム、ストリーミング、無限長のビデオ生成の最初のデモンストレーションを実現する。
実例として、最大12時間までの連続ビデオを生成し、私たちの知る限り、ストリーミングビデオ生成において最も長く実証された結果の1つである。
論文 参考訳（メタデータ） (2026-01-23T17:21:35Z) - SoulX-FlashTalk: Real-Time Infinite Streaming of Audio-Driven Avatars via Self-Correcting Bidirectional Distillation [16.34443339642213]
textbfX-FlashTalkは、textbf32 FPSのリアルタイムスループットを達成しながら、textbfsub秒の起動遅延(0.87秒)を達成する14Bスケールのシステムである。
SoulX-FlashTalkは、Textbf32 FPSのリアルタイムスループットを達成しつつ、Textbfsub秒の起動遅延(0.87秒)を達成する最初の14Bスケールシステムである。
論文 参考訳（メタデータ） (2025-12-29T11:18:24Z) - Towards One-step Causal Video Generation via Adversarial Self-Distillation [71.30373662465648]
最近のハイブリッドビデオ生成モデルは、自己回帰時間力学と拡散に基づく空間認知を組み合わせている。
我々のフレームワークは、複数の推論ステップ設定を柔軟にサポートする単一の蒸留モデルを生成する。
論文 参考訳（メタデータ） (2025-11-03T10:12:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。