論文の概要: Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation

• arxiv url: http://arxiv.org/abs/2604.23632v1
• Date: Sun, 26 Apr 2026 09:46:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.471117
• Title: Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation
• Title（参考訳）: Hallo-Live: Asynchronous Dual-StreamとHuman-Centric Preference Distillationによるリアルタイムストリーミング型オーディオビデオアバター生成
• Authors: Chunyu Li, Jiaye Li, Ruiqiao Mei, Haoyuan Xia, Hao Zhu, Jingdong Wang, Siyu Zhu,
• Abstract要約: 本稿では,共同音声・視覚アバター生成のためのストリーミングフレームワークであるHolo-Liveを紹介する。 Future-Expanding Attentionでは、各ビデオブロックが同期オーディオにアクセスでき、将来的な音声のヒントも短い。 HP-DMDは、視覚的忠実度、音声の自然性、音声と視覚の同期による報酬を用いて、トレーニングサンプルを再重み付けする。
• 参考スコア（独自算出の注目度）: 29.637920236800394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-time text-driven joint audio-video avatar generation requires jointly synthesizing portrait video and speech with high fidelity and precise synchronization, yet existing audio-visual diffusion models remain too slow for interactive use and often degrade noticeably after aggressive acceleration. We present Hallo-Live, a streaming framework for joint audio-visual avatar generation that combines asynchronous dual-stream diffusion with human-centric preference-guided distillation. To reduce articulation lag in causal generation, we introduce Future-Expanding Attention, which allows each video block to access synchronous audio together with a short horizon of future phonetic cues. To mitigate the quality loss of few-step distillation, we further propose Human-Centric Preference-Guided DMD (HP-DMD), which reweights training samples using rewards from visual fidelity, speech naturalness, and audio-visual synchronization. On two NVIDIA H200 GPUs, Hallo-Live runs at 20.38 FPS with 0.94 seconds latency, yielding 16.0x higher throughput and 99.3x lower latency than the teacher model Ovi. Despite this speedup, it retains strong generation quality, reaching comparable VideoAlign overall score and Sync Confidence score while outperforming other accelerated baselines in the overall quality-efficiency trade-off. Qualitative results further show robust generalization across photorealistic, multi-speaker, and stylized scenarios. To the best of our knowledge, Hallo-Live is the first framework to combine streaming dual-stream diffusion with preference-guided distillation for real-time, text-driven audio-visual generation.
• Abstract（参考訳）: リアルタイムテキスト駆動型ジョイントオーディオビデオアバター生成では、高忠実度と高精度な同期でポートレートビデオと音声を共同合成する必要があるが、既存のオーディオ視覚拡散モデルはインタラクティブな使用には遅すぎるため、アグレッシブ・アクセラレーション後に顕著に劣化することが多い。 本稿では,非同期二重ストリーム拡散と人間中心の嗜好誘導蒸留を組み合わせた共同オーディオ-視覚アバター生成のためのストリーミングフレームワークであるHalo-Liveを提案する。 因果生成における調音遅延を低減するため,各ビデオブロックが同期音声に近づき,将来的な音声的手がかりの短い視野でアクセスできるFuture-Expanding Attentionを導入する。 少数段階蒸留の品質低下を軽減するため,視覚的忠実度,音声の自然性,音声視覚的同期によるトレーニングサンプルの再重み付けを行うHuman-Centric Preference-Guided DMD (HP-DMD)を提案する。 2つのNVIDIA H200 GPU上では、Holo-Liveは0.94秒のレイテンシで20.38 FPSで動作し、16.0倍のスループットと99.3倍のレイテンシを持つ。 このスピードアップにもかかわらず、ビデオAlignの全体的なスコアとSync Confidenceスコアに匹敵し、全体的な品質と効率のトレードオフにおいて、他の加速されたベースラインを上回っている。 質的な結果はさらに、フォトリアリスティック、マルチスピーカ、スタイル化されたシナリオにまたがる堅牢な一般化を示している。 私たちの知る限りでは、Holo-Liveは、ストリーミングデュアルストリーム拡散と優先誘導蒸留を組み合わせた、リアルタイムのテキスト駆動型オーディオ視覚生成のための最初のフレームワークです。

関連論文リスト

• ALIVE: Animate Your World with Lifelike Audio-Video Generation [50.693986608051716]
  ALIVEは、Soraスタイルのオーディオビデオ生成とアニメーションに事前訓練されたテキスト・トゥ・ビデオ(T2V)モデルを適用する世代モデルである。 音声-視覚同期と参照アニメーションをサポートするため,共用音声-ビデオブランチによるMMDiTアーキテクチャの強化を行った。 ALIVEは優れたパフォーマンスを示し、一貫してオープンソースモデルを上回り、最先端の商用ソリューションにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-02-09T14:06:03Z)
• Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length [57.458450695137664]
  提案するLive Avatarは,効率的,高忠実,無限長アバター生成のためのアルゴリズム設計のフレームワークである。 ライブアバターは、このスケールで実用的でリアルタイムで高忠実なアバター生成を実現するのが最初である。
  論文  参考訳（メタデータ） (2025-12-04T11:11:24Z)
• SoundReactor: Frame-level Online Video-to-Audio Generation [39.113214321291586]
  Video-to-Audio生成モデルは、ビデオシーケンス全体やフレームのチャンクが事前に用意されていることを前提として、オフラインで動作する。 本稿では,フレームレベルのオンラインV2A生成の新たな課題を紹介する。 SoundReactorは、このタスク用に明示的に調整された、最初のシンプルで効果的なフレームワークである。
  論文  参考訳（メタデータ） (2025-10-02T15:18:00Z)
• Syncphony: Synchronized Audio-to-Video Generation with Diffusion Transformers [19.226787997122987]
  380x640の解像度、24fpsのビデオが多様な音声入力と同期するSyncphonyを提案する。 提案手法は,事前学習したビデオバックボーン上に構築され,同期性を改善するために2つの重要なコンポーネントが組み込まれている。 AVSync15とThe Greatest Hitsデータセットの実験では、Syncphonyは同期精度と視覚的品質の両方で既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2025-09-26T05:30:06Z)
• StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation [91.45910771331741]
  オーディオ駆動型アバタービデオ生成のための現在の拡散モデルでは、自然な音声同期とアイデンティティの整合性を備えた長ビデオの合成が困難である。 本稿では,無限長高画質映像を後処理なしで合成する最初のエンドツーエンドビデオ拡散変換器であるStableAvatarについて述べる。
  論文  参考訳（メタデータ） (2025-08-11T17:58:24Z)
• READ: Real-time and Efficient Asynchronous Diffusion for Audio-driven Talking Head Generation [55.58089937219475]
  本稿では,最初のリアルタイム拡散変換器を用いた音声ヘッド生成フレームワークREADを提案する。 提案手法はまず,VAEを用いて高度に圧縮されたビデオ潜時空間を学習し,音声生成におけるトークン数を大幅に削減する。 また,READは,実行時間を大幅に短縮した競合する音声ヘッドビデオを生成することにより,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-05T13:57:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。