論文の概要: GLDiTalker: Speech-Driven 3D Facial Animation with Graph Latent Diffusion Transformer

• arxiv url: http://arxiv.org/abs/2408.01826v3
• Date: Tue, 28 Jan 2025 02:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:39:04.466553
• Title: GLDiTalker: Speech-Driven 3D Facial Animation with Graph Latent Diffusion Transformer
• Title（参考訳）: GLDiTalker:グラフ遅延拡散変換器を用いた音声駆動型3次元顔アニメーション
• Authors: Yihong Lin, Zhaoxin Fan, Xianjia Wu, Lingyu Xiong, Liang Peng, Xiandong Li, Wenxiong Kang, Songju Lei, Huang Xu,
• Abstract要約: Graph Latent Transformerに基づく音声駆動型3次元顔アニメーションモデル GLDiTalkerは、量子化された時間潜在空間内の信号を拡散することで、不一致を解消する。 Graph-Enhanced Space Quantized Learning Stageはリップ同期の精度を保証し、Space-Time Powered Latent Diffusion Stageは動きの多様性を高める。
• 参考スコア（独自算出の注目度）: 26.567649613966974
• License:
• Abstract: Speech-driven talking head generation is a critical yet challenging task with applications in augmented reality and virtual human modeling. While recent approaches using autoregressive and diffusion-based models have achieved notable progress, they often suffer from modality inconsistencies, particularly misalignment between audio and mesh, leading to reduced motion diversity and lip-sync accuracy. To address this, we propose GLDiTalker, a novel speech-driven 3D facial animation model based on a Graph Latent Diffusion Transformer. GLDiTalker resolves modality misalignment by diffusing signals within a quantized spatiotemporal latent space. It employs a two-stage training pipeline: the Graph-Enhanced Quantized Space Learning Stage ensures lip-sync accuracy, while the Space-Time Powered Latent Diffusion Stage enhances motion diversity. Together, these stages enable GLDiTalker to generate realistic, temporally stable 3D facial animations. Extensive evaluations on standard benchmarks demonstrate that GLDiTalker outperforms existing methods, achieving superior results in both lip-sync accuracy and motion diversity.
• Abstract（参考訳）: 音声駆動音声ヘッド生成は、拡張現実やバーチャルヒューマンモデリングの応用において重要な課題であるが、難しい課題である。 自己回帰モデルと拡散モデルを用いた最近のアプローチは顕著な進歩を遂げているが、しばしばモダリティの不整合、特に音声とメッシュのミスアライメントに悩まされ、動きの多様性とリップシンクの精度が低下する。 そこで我々は,グラフラテント拡散変換器に基づく音声駆動型3次元顔アニメーションモデルGLDiTalkerを提案する。 GLDiTalkerは、量子化された時空間ラテント空間内の信号を拡散することで、モダリティのずれを解消する。 Graph-Enhanced Quantized Space Learning Stageはリップシンクの精度を保証し、Space-Time Powered Latent Diffusion Stageは動きの多様性を高める。 これらのステージを合わせて、GLDiTalkerはリアルで時間的に安定した3D顔アニメーションを生成することができる。 ベンチマークの結果,GLDiTalkerは既存の手法よりも優れており,リップシンク精度と動作多様性の両面で優れた結果が得られた。

関連論文リスト

• SayAnything: Audio-Driven Lip Synchronization with Conditional Video Diffusion [78.77211425667542]
  SayAnythingは、オーディオ入力から唇の動きを直接合成する条件付きビデオ拡散フレームワークである。 我々の新しい設計は、潜在空間における異なる条件信号のバランスを効果的に保ち、外観、動き、地域固有の生成を正確に制御できる。
  論文  参考訳（メタデータ） (2025-02-17T07:29:36Z)
• GoHD: Gaze-oriented and Highly Disentangled Portrait Animation with Rhythmic Poses and Realistic Expression [33.886734972316326]
  GoHDは、非常にリアルで表現力があり、コントロール可能なポートレートビデオを作成するために設計されたフレームワークである。 潜時ナビゲーションを利用したアニメーションモジュールを導入し、目に見えない入力スタイルの一般化能力を向上させる。 コンホメータ構造付き条件拡散モデルは、韻律を意識した頭部ポーズを保証するように設計されている。 2段階のトレーニング戦略は、より時間依存的ではあるが、音声関連の少ない動きの発生から、頻繁でフレームワイドな唇運動蒸留を分離するために考案された。
  論文  参考訳（メタデータ） (2024-12-12T14:12:07Z)
• KMTalk: Speech-Driven 3D Facial Animation with Key Motion Embedding [19.15471840100407]
  キーモーション埋め込みを用いた音声系列から3次元顔の動きを合成する新しい手法を提案する。 本手法は,言語に基づくキーモーション獲得とモーダル間動作完了の2つのモジュールを通じて,言語的およびデータ駆動の先行情報を統合する。 後者は、キーモーションを音声機能によって案内される3D音声のフルシーケンスに拡張し、時間的コヒーレンスとオーディオ-視覚的整合性を改善する。
  論文  参考訳（メタデータ） (2024-09-02T09:41:24Z)
• High-fidelity and Lip-synced Talking Face Synthesis via Landmark-based Diffusion Model [89.29655924125461]
  本稿では,発話顔生成のためのランドマークに基づく新しい拡散モデルを提案する。 まず、音声から唇と顎の目印運動への不明瞭さの少ないマッピングを確立する。 そこで我々はTalkFormerと呼ばれる革新的な条件付けモジュールを導入し、合成された動きをランドマークで表現された動きと整合させる。
  論文  参考訳（メタデータ） (2024-08-10T02:58:28Z)
• DiffSpeaker: Speech-Driven 3D Facial Animation with Diffusion Transformer [110.32147183360843]
  音声駆動の3D顔アニメーションは多くのマルチメディアアプリケーションにとって重要である。 最近の研究は、このタスクにDiffusionモデルまたはTransformerアーキテクチャを使用する際の有望さを示している。 DiffSpeakerはトランスフォーマーをベースとしたネットワークで、新しいバイアス付条件付アテンションモジュールを備えている。
  論文  参考訳（メタデータ） (2024-02-08T14:39:16Z)
• SAiD: Speech-driven Blendshape Facial Animation with Diffusion [6.4271091365094515]
  大規模なビジュアルオーディオデータセットが不足しているため、音声駆動の3D顔アニメーションは困難である。 拡散モデル (SAiD) を用いた音声駆動型3次元顔アニメーションを提案する。
  論文  参考訳（メタデータ） (2023-12-25T04:40:32Z)
• GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
  GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。 スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。 定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with Diffusion [68.85904927374165]
  拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。 拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。 最先端の手法よりもリアルな顔アニメーションを同時に実現します。
  論文  参考訳（メタデータ） (2023-08-23T04:14:55Z)
• GeneFace++: Generalized and Stable Real-Time Audio-Driven 3D Talking Face Generation [71.73912454164834]
  音声-リップ同期の汎用化, 画質の向上, システム効率の向上が期待できる。 NeRFは、数分間のトレーニングビデオで高忠実で3D一貫性のある会話顔生成を実現することができるため、この分野で一般的な技術となっている。 そこで我々は,これらの課題に対処するためにGeneFace++を提案し,ピッチの輪郭を補助的特徴として利用し,顔の動き予測プロセスに時間的損失を導入する。
  論文  参考訳（メタデータ） (2023-05-01T12:24:09Z)
• A Novel Speech-Driven Lip-Sync Model with CNN and LSTM [12.747541089354538]
  可変長音声入力から3次元テンプレート顔モデルの変位を生成するために,一次元畳み込みとLSTMを組み合わせたディープニューラルネットワークを提案する。 異なる音声信号に対するネットワークのロバスト性を高めるために,訓練された音声認識モデルを適用して音声特徴を抽出する。 本モデルでは, 音声に同期したスムーズで自然な唇の動きを生成できることが示されている。
  論文  参考訳（メタデータ） (2022-05-02T13:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。