論文の概要: Ditto: Motion-Space Diffusion for Controllable Realtime Talking Head Synthesis

• arxiv url: http://arxiv.org/abs/2411.19509v2
• Date: Mon, 23 Dec 2024 14:04:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:52:24.571571
• Title: Ditto: Motion-Space Diffusion for Controllable Realtime Talking Head Synthesis
• Title（参考訳）: Ditto: 制御可能なリアルタイムトーキングヘッド合成のための運動空間拡散
• Authors: Tianqi Li, Ruobing Zheng, Minghui Yang, Jingdong Chen, Ming Yang,
• Abstract要約: 本稿では,リアルタイム音声ヘッド合成が可能な拡散型フレームワークであるDittoを紹介する。 私たちの重要なイノベーションは、明示的なアイデンティティに依存しないモーション空間を通じて、ブリッジングモーション生成とフォトリアリスティックなニューラルレンダリングです。 この設計は、合成音声ヘッドの正確な制御を可能にしながら、拡散学習の複雑さを著しく低減する。
• 参考スコア（独自算出の注目度）: 27.43583075023949
• License:
• Abstract: Recent advances in diffusion models have revolutionized audio-driven talking head synthesis. Beyond precise lip synchronization, diffusion-based methods excel in generating subtle expressions and natural head movements that are well-aligned with the audio signal. However, these methods are confronted by slow inference speed, insufficient fine-grained control over facial motions, and occasional visual artifacts largely due to an implicit latent space derived from Variational Auto-Encoders (VAE), which prevent their adoption in realtime interaction applications. To address these issues, we introduce Ditto, a diffusion-based framework that enables controllable realtime talking head synthesis. Our key innovation lies in bridging motion generation and photorealistic neural rendering through an explicit identity-agnostic motion space, replacing conventional VAE representations. This design substantially reduces the complexity of diffusion learning while enabling precise control over the synthesized talking heads. We further propose an inference strategy that jointly optimizes three key components: audio feature extraction, motion generation, and video synthesis. This optimization enables streaming processing, realtime inference, and low first-frame delay, which are the functionalities crucial for interactive applications such as AI assistants. Extensive experimental results demonstrate that Ditto generates compelling talking head videos and substantially outperforms existing methods in both motion control and realtime performance.
• Abstract（参考訳）: 拡散モデルの最近の進歩は、音声駆動音声ヘッド合成に革命をもたらした。 正確な唇同期の他に、拡散に基づく手法は、音声信号とよく一致した微妙な表情や自然な頭部の動きを生成するのに優れている。 しかし、これらの手法は、低速な推論速度、顔の動きのきめ細かい制御が不十分なこと、そして時折、リアルタイムのインタラクションアプリケーションに採用されないような変分自動エンコーダ(VAE)から派生した暗黙の潜伏空間によって、視覚的アーティファクトに直面する。 これらの問題に対処するため,Dittoはリアルタイム音声ヘッド合成を可能にする拡散型フレームワークである。 私たちの重要な革新は、従来のVAE表現を置き換える、明示的なアイデンティティ非依存のモーション空間を通じて、ブリッジングモーション生成とフォトリアリスティックなニューラルレンダリングです。 この設計は、合成音声ヘッドの正確な制御を可能にしながら、拡散学習の複雑さを著しく低減する。 さらに,音声特徴抽出,モーション生成,ビデオ合成という3つの重要な要素を協調的に最適化する推論手法を提案する。 この最適化により、ストリーミング処理、リアルタイム推論、低ファーストフレーム遅延が可能になる。 広範にわたる実験結果から,Dittoは説得力のある音声ヘッドビデオを生成し,動作制御とリアルタイムパフォーマンスの両方において既存の手法を大幅に上回っていることが明らかとなった。

関連論文リスト

• KMTalk: Speech-Driven 3D Facial Animation with Key Motion Embedding [19.15471840100407]
  キーモーション埋め込みを用いた音声系列から3次元顔の動きを合成する新しい手法を提案する。 本手法は,言語に基づくキーモーション獲得とモーダル間動作完了の2つのモジュールを通じて,言語的およびデータ駆動の先行情報を統合する。 後者は、キーモーションを音声機能によって案内される3D音声のフルシーケンスに拡張し、時間的コヒーレンスとオーディオ-視覚的整合性を改善する。
  論文  参考訳（メタデータ） (2024-09-02T09:41:24Z)
• GLDiTalker: Speech-Driven 3D Facial Animation with Graph Latent Diffusion Transformer [26.567649613966974]
  本稿では,Graph Latent Diffusion Transformerを用いた音声駆動型3次元顔アニメーションモデルGLDiTalkerを紹介する。 GLDiTalkerの背景にある中核的な考え方は、遅延量子化された空間時間空間における信号の拡散によって、オーディオ・メッシュなモダリティの不整合を解消できるということである。
  論文  参考訳（メタデータ） (2024-08-03T17:18:26Z)
• Co-Speech Gesture Video Generation via Motion-Decoupled Diffusion Model [17.98911328064481]
  共同音声ジェスチャーは、人間と機械の相互作用において優れた視覚効果を得ることができる。 共同音声ジェスチャビデオを生成するための新しい動き分離フレームワークを提案する。 提案手法は,動作評価と映像評価の両方において,既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-04-02T11:40:34Z)
• DiffSpeaker: Speech-Driven 3D Facial Animation with Diffusion Transformer [110.32147183360843]
  音声駆動の3D顔アニメーションは多くのマルチメディアアプリケーションにとって重要である。 最近の研究は、このタスクにDiffusionモデルまたはTransformerアーキテクチャを使用する際の有望さを示している。 DiffSpeakerはトランスフォーマーをベースとしたネットワークで、新しいバイアス付条件付アテンションモジュールを備えている。
  論文  参考訳（メタデータ） (2024-02-08T14:39:16Z)
• FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models [85.16273912625022]
  音声信号から人間の頭部の高忠実度3次元動作系列を合成するための新しい生成手法であるFaceTalkを紹介する。 我々の知る限りでは、人間の頭部の現実的で高品質な運動合成のための生成的アプローチを提案するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-12-13T19:01:07Z)
• DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
  そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。 既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。 動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
  論文  参考訳（メタデータ） (2023-12-07T04:39:22Z)
• Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention [52.63080543011595]
  階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。 提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
  論文  参考訳（メタデータ） (2023-02-24T09:36:31Z)
• Interactive Face Video Coding: A Generative Compression Framework [18.26476468644723]
  本稿では,対話型顔映像符号化(IFVC)のための新しいフレームワークを提案する。 提案手法には,超コンパクト表現,低遅延相互作用,鮮明な表現と主目的アニメーションなど,いくつかの利点がある。
  論文  参考訳（メタデータ） (2023-02-20T11:24:23Z)
• MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
  MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。 本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。 文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
  論文  参考訳（メタデータ） (2022-12-08T18:59:48Z)
• Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation [66.46123655365113]
  ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。 主な課題は、複雑な音響環境とリアルタイム処理の要件である。 複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
  論文  参考訳（メタデータ） (2020-01-02T11:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。