論文の概要: GGTalker: Talking Head Systhesis with Generalizable Gaussian Priors and Identity-Specific Adaptation

• arxiv url: http://arxiv.org/abs/2506.21513v1
• Date: Thu, 26 Jun 2025 17:37:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.225929
• Title: GGTalker: Talking Head Systhesis with Generalizable Gaussian Priors and Identity-Specific Adaptation
• Title（参考訳）: GGTalker: 一般化可能なガウスの先駆者との頭合成とアイデンティティに特有な適応
• Authors: Wentao Hu, Shunkai Li, Ziqiao Peng, Haoxian Zhang, Fan Shi, Xiaoqiang Liu, Pengfei Wan, Di Zhang, Hui Tian,
• Abstract要約: GGTalkerは、一般化可能な先行とアイデンティティ固有の適応を組み合わせることで、対話ヘッドを合成する。 GGTalkerは、レンダリング品質、3D一貫性、リップシンク精度、トレーニング効率において最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 20.17978153568009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating high-quality, generalizable speech-driven 3D talking heads remains a persistent challenge. Previous methods achieve satisfactory results for fixed viewpoints and small-scale audio variations, but they struggle with large head rotations and out-of-distribution (OOD) audio. Moreover, they are constrained by the need for time-consuming, identity-specific training. We believe the core issue lies in the lack of sufficient 3D priors, which limits the extrapolation capabilities of synthesized talking heads. To address this, we propose GGTalker, which synthesizes talking heads through a combination of generalizable priors and identity-specific adaptation. We introduce a two-stage Prior-Adaptation training strategy to learn Gaussian head priors and adapt to individual characteristics. We train Audio-Expression and Expression-Visual priors to capture the universal patterns of lip movements and the general distribution of head textures. During the Customized Adaptation, individual speaking styles and texture details are precisely modeled. Additionally, we introduce a color MLP to generate fine-grained, motion-aligned textures and a Body Inpainter to blend rendered results with the background, producing indistinguishable, photorealistic video frames. Comprehensive experiments show that GGTalker achieves state-of-the-art performance in rendering quality, 3D consistency, lip-sync accuracy, and training efficiency.
• Abstract（参考訳）: 高品質で一般化可能な3D対話ヘッドを作ることは、依然として永続的な課題だ。 従来の方法では、固定視点と小型オーディオの変動に対して満足な結果が得られるが、大きな頭部回転とアウト・オブ・ディストリビューション(OOD)オーディオに苦慮している。 さらに、それらは時間を要するアイデンティティ固有のトレーニングの必要性によって制約される。 中心的な問題は、十分な3D事前の欠如にあると考えており、これは合成音声ヘッドの補間能力を制限している。 そこで本研究では,汎用化可能な先行認識と識別固有適応の組み合わせにより,音声の頭部を合成するGGTalkerを提案する。 2段階の事前適応学習戦略を導入し,ガウスの頭頂部を学習し,個々の特徴に適応する。 我々は,口唇運動の普遍的パターンと頭部テクスチャの一般分布を捉えるために,音声表現と表情映像の事前学習を行う。 カスタマイズ適応では、個々の話し方やテクスチャの詳細を正確にモデル化する。 さらに、細粒度で動きの整ったテクスチャを生成する色MLPと、レンダリング結果を背景とブレンドするボディインパインターを導入し、識別不能なフォトリアリスティックなビデオフレームを生成する。 総合実験の結果,GGTalkerはレンダリング品質,3D一貫性,リップシンク精度,トレーニング効率において,最先端のパフォーマンスを実現していることがわかった。

関連論文リスト

• GoHD: Gaze-oriented and Highly Disentangled Portrait Animation with Rhythmic Poses and Realistic Expression [33.886734972316326]
  GoHDは、非常にリアルで表現力があり、コントロール可能なポートレートビデオを作成するために設計されたフレームワークである。 潜時ナビゲーションを利用したアニメーションモジュールを導入し、目に見えない入力スタイルの一般化能力を向上させる。 コンホメータ構造付き条件拡散モデルは、韻律を意識した頭部ポーズを保証するように設計されている。 2段階のトレーニング戦略は、より時間依存的ではあるが、音声関連の少ない動きの発生から、頻繁でフレームワイドな唇運動蒸留を分離するために考案された。
  論文  参考訳（メタデータ） (2024-12-12T14:12:07Z)
• GaussianSpeech: Audio-Driven Gaussian Avatars [76.10163891172192]
  本稿では,3次元頭部アバターの高忠実度アニメーションシーケンスを音声音声から合成する手法であるGaussianSpeechを紹介する。 本稿では,表情に依存した色を生成するコンパクトで効率的な3DGSベースのアバター表現を提案する。
  論文  参考訳（メタデータ） (2024-11-27T18:54:08Z)
• MimicTalk: Mimicking a personalized and expressive 3D talking face in minutes [74.82911268630463]
  トーキングフェース生成(TFG)は、ターゲットアイデンティティーの顔をアニメーション化し、リアルなトーキングビデオを作成することを目的としている。 MimicTalkは、個人別TFGの効率性と堅牢性を改善するために、NeRFベースの個人非依存のジェネリックモデルから豊富な知識を活用する。 私たちのMimicTalkは、ビデオの品質、効率、表現性に関して、これまでのベースラインを超えていることが実験によって示されています。
  論文  参考訳（メタデータ） (2024-10-09T10:12:37Z)
• RealTalk: Real-time and Realistic Audio-driven Face Generation with 3D Facial Prior-guided Identity Alignment Network [48.95833484103569]
  RealTalkは、音声から表現へのトランスフォーマーであり、高忠実な表現から顔へのフレームワークである。 第1成分として, 口唇運動に関連する個人性および個人内変動の特徴について考察した。 第2のコンポーネントでは、軽量な顔認証アライメント(FIA)モジュールを設計する。 この新しい設計により、高度で非効率な特徴アライメントモジュールに依存することなく、リアルタイムに細部を生成できる。
  論文  参考訳（メタデータ） (2024-06-26T12:09:59Z)
• GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
  GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。 スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。 定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• DFA-NeRF: Personalized Talking Head Generation via Disentangled Face Attributes Neural Rendering [69.9557427451339]
  本稿では,高忠実度音声ヘッド生成のためのニューラルラジアンス場に基づくフレームワークを提案する。 具体的には、神経放射野は唇運動の特徴とパーソナライズされた属性を2つの不絡状態として捉えている。 本手法は最先端の手法よりもはるかに優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-01-03T18:23:38Z)
• FaceFormer: Speech-Driven 3D Facial Animation with Transformers [46.8780140220063]
  音声駆動の3D顔アニメーションは、人間の顔の複雑な形状と、3Dオーディオ視覚データの利用が制限されているため、難しい。 本研究では,トランスフォーマーをベースとした自動回帰モデルFaceFormerを提案し,長期音声コンテキストを符号化し,アニメーション3D顔メッシュのシーケンスを自動回帰予測する。
  論文  参考訳（メタデータ） (2021-12-10T04:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。