論文の概要: No Distillation Needed: Single-Pass Real-Time Talking Heads via Acausal Noise Shaping

• arxiv url: http://arxiv.org/abs/2610.11070v1
• Date: Thu, 08 Oct 2026 01:30:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.724208
• Title: No Distillation Needed: Single-Pass Real-Time Talking Heads via Acausal Noise Shaping
• Title（参考訳）: 蒸留不要:音響ノイズ整形による単孔リアルタイムトーキングヘッド
• Abstract要約: 音声駆動の顔アニメーションは、リアルタイムアバター、テレプレゼンス、そして仮想エージェントを具現化する。 近年の進歩は拡散モデルに支配されており、サンプル毎に多くのネットワーク評価が必要である。 ノイズによって駆動される因果的時間不変発生器は、ステップごとのイノベーションを損なうことなく、バンド上の出力スペクトルを抑制できないことを示す。
• 参考スコア（独自算出の注目度）: 52.399121328065405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-driven facial animation underpins real-time avatars, telepresence, and embodied virtual agents. And it must run online: each frame emitted from audio observed up to the current time, at interactive rates. Recent progress is dominated by diffusion models, which need many network evaluations per sample and are therefore a poor fit for streaming. We argue the cost is unnecessary in this domain. Audio-conditioned facial motion occupies a comparatively low-dimensional manifold, a regime where a single-pass GAN suffices. The obstacle is not capacity but stochastic structure. We show that a causal, time-invariant generator driven by i.i.d. noise cannot suppress its output spectrum over a band without collapsing its per-step innovation. We proposed FaceGAN, which dissolved the limitation by shaping the noise pathway acausally. Because the driving noise is synthetic, its future can be sampled now, so the audio-to-expression path stays causal, and the model supports fully causal operation. FaceGAN emits expression and head pose in a single forward pass per frame and matches or outperforms state-of-art approaches in generation quality. Being feed-forward with bounded attention windows, it generates indefinitely without drift.
• Abstract（参考訳）: 音声駆動の顔アニメーションは、リアルタイムアバター、テレプレゼンス、そして仮想エージェントを具現化する。 オーディオから放出される各フレームは、インタラクティブなレートで、現在まで観察されている。 近年の進展は拡散モデルに支配されており、サンプル毎に多くのネットワーク評価が必要であるため、ストリーミングには適さない。 この領域ではコストは不要だと主張する。 音声条件付き顔の動きは比較的低次元の多様体を占有する。 障害物は容量ではなく確率構造である。 ノイズによって駆動される因果的時間不変発生器は、ステップごとのイノベーションを損なうことなく、バンド上の出力スペクトルを抑制できないことを示す。 ノイズ経路を因果的に形成することで制限を解消するFaceGANを提案する。 駆動ノイズは合成されているため、現在その未来はサンプル化できるので、音声対圧縮経路は因果的であり、モデルは完全に因果的操作をサポートする。 FaceGANは、フレーム毎に1つのフォワードパスで表現とヘッドポーズを出力し、生成品質における最先端のアプローチにマッチまたは性能を向上する。 注意窓が張られたフィードフォワードであるため、ドリフトなしで無期限に発生する。

関連論文リスト

• Decoupled Self-Forcing Distillation for Streaming Talking Head Generation [26.492258321340312]
  ストリーミングトークヘッド生成は、その駆動オーディオが到着するにつれて各フレームを生成するが、その忠実さと効率性は、これまでは反対方向に引っ張られている。 我々は、前者のコストが核融合の標的にあると主張している。 代わりに、低次元の恒等距離運動空間で条件を融合する。
  論文  参考訳（メタデータ） (2026-09-09T15:22:49Z)
• AvatarForcing: One-Step Streaming Talking Avatars via Local-Future Sliding-Window Denoising [15.787466786514164]
  AvatarForcingは、一段階のストリーミング拡散フレームワークで、不均一なノイズレベルを持つ固定されたローカルフューチャーウィンドウを識別する。 標準ベンチマークと400ビデオのロングフォームベンチマークの実験では、強い視覚的品質と34ms/frameでの唇の同期が示されている。
  論文  参考訳（メタデータ） (2026-03-15T11:42:07Z)
• StreamingTalker: Audio-driven 3D Facial Animation with Autoregressive Diffusion Model [73.30619724574642]
  音声駆動型3D顔アニメーションは、音声入力によって駆動される現実的で同期された顔の動きを生成することを目的としている。 近年,3次元顔アニメーションに音声条件拡散モデルが採用されている。 本稿では,ストリーミング方式で音声を処理する自己回帰拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-11-18T07:55:16Z)
• ConsistTalk: Intensity Controllable Temporally Consistent Talking Head Generation with Diffusion Noise Search [8.993664585683055]
  拡散雑音探索を用いた新しい強度制御型音声ヘッド生成フレームワークである textbfTalk を紹介する。 まず,動作特徴を静的な外観から切り離すスタブファン光フロー誘導時間モジュール(OFT)を提案する。 第2に,マルチモーダル・教師・学生の知識蒸留により得られたtextbfAudio-to-Intensity (A2I) モデルを提案する。
  論文  参考訳（メタデータ） (2025-11-10T08:28:13Z)
• StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation [91.45910771331741]
  オーディオ駆動型アバタービデオ生成のための現在の拡散モデルでは、自然な音声同期とアイデンティティの整合性を備えた長ビデオの合成が困難である。 本稿では,無限長高画質映像を後処理なしで合成する最初のエンドツーエンドビデオ拡散変換器であるStableAvatarについて述べる。
  論文  参考訳（メタデータ） (2025-08-11T17:58:24Z)
• DAWN: Dynamic Frame Avatar with Non-autoregressive Diffusion Framework for Talking Head Video Generation [50.66658181705527]
  本稿では,動的長大映像のオール・アット・オンス生成を可能にするフレームワークであるDAWNを提案する。 DAWNは,(1)潜在動作空間における音声駆動型顔力学生成,(2)音声駆動型頭部ポーズと点滅生成の2つの主要成分から構成される。 本手法は, 唇の動きを正確に表現し, 自然なポーズ・瞬き動作を特徴とする実写映像と鮮明な映像を生成する。
  論文  参考訳（メタデータ） (2024-10-17T16:32:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。