論文の概要: Talking Head Synthesis with Facial Landmark Guidance via 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2609.17422v1
• Date: Thu, 16 Jul 2026 00:36:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.543162
• Title: Talking Head Synthesis with Facial Landmark Guidance via 3D Gaussian Splatting
• Title（参考訳）: 顔のランドマーク誘導による3次元ガウス平滑化による頭部合成
• Abstract要約: 顔のキーポイントを誘導する空間拡張モジュールを提案する。 予測されたランドマークは、表情に敏感な顔領域に関する空間的ポイントの選択と強化のための手がかりを提供する。 実験により,提案手法は視覚的品質,顔のリアリズム,唇の同期性を向上することが示された。
• 参考スコア（独自算出の注目度）: 9.931189412522391
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Audio-driven digital human generation plays an important role in virtual communication, immersive interaction, and media production. With the development of Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS), recent talking-head systems have obtained more faithful 3D facial geometry and appearance modeling. A remaining difficulty is that speech features mainly describe temporal acoustic patterns rather than explicit facial layouts. As a result, directly driving 3D facial deformation with audio may produce inaccurate mouth motion, weak expression details, and local artifacts. To address this issue, we propose a facial-keypoint-guided spatial enhancement module. The predicted landmarks provide structural cues for selecting and enriching spatial points around expression-sensitive facial regions. We further introduce a global landmark compensation mechanism, where the full set of keypoints is encoded into a conditioning vector to refine 3DGS attributes. This compensation supplies whole-face structural information to the underlying shape representation. Experiments under self-driven and cross-driven settings show that the proposed method improves visual quality, facial realism, and lip synchronization.
• Abstract（参考訳）: 音声駆動型デジタルヒューマンジェネレーションは、仮想コミュニケーション、没入型インタラクション、メディア生産において重要な役割を果たす。 ニューラル・レージアン・フィールド(NeRF)と3Dガウス・スプレイティング(3DGS)の開発により、最近のトーキングヘッドシステムはより忠実な3次元顔形状と外観モデリングを得た。 残された難しさは、音声の特徴が明瞭な顔配置ではなく、時間的音響パターンを主に記述していることである。 結果として、音声で直接3D顔の変形を駆動することは、不正確な口の動き、表現の弱さ、局所的な人工物を生み出す可能性がある。 この問題に対処するために,顔キーポイント誘導空間拡張モジュールを提案する。 予測されたランドマークは、表情に敏感な顔領域に関する空間的ポイントの選択と強化のための構造的手がかりを提供する。 さらにグローバルなランドマーク補償機構を導入し、キーポイントの完全なセットを条件ベクトルに符号化して3DGS特性を洗練させる。 この補償は、下層の形状表現に全体構造情報を供給する。 自己駆動型およびクロス駆動型環境下での実験により,提案手法は視覚的品質,顔のリアリズム,唇の同期を改善することが示された。

関連論文リスト

• EmoZone-Talker: Regional Semantic Control of Audio-Driven 3DGS Talking Heads via Facial Action Units [28.454399017725006]
  EmoZone-Talkerは、音声による顔のアニメーションを構造化された時空間調整問題として再構成する新しいフレームワークである。 提案手法は,上面の精度と時間的コヒーレンスを顕著に向上させ,表現制御性とリアリズムを向上させる。
  論文  参考訳（メタデータ） (2026-06-14T15:10:05Z)
• VisualSpeaker: Visually-Guided 3D Avatar Lip Synthesis [70.76837748695841]
  視覚音声認識によって教師される写真リアルな微分可能レンダリングを用いてギャップを埋める新しい手法であるVisualSpeakerを提案する。 我々の貢献は、訓練中に訓練済みの視覚自動音声認識モデルを通して3Dガウス・スプティング・アバターレンダリングを通過させることによって得られる、知覚的な唇読影損失である。 MEADデータセットの評価は、VisualSpeakerが標準のLip Vertex Errorメトリックを56.1%改善し、生成されたアニメーションの知覚的品質を向上し、メッシュ駆動アニメーションの制御性を維持していることを示している。
  論文  参考訳（メタデータ） (2025-07-08T15:04:17Z)
• OT-Talk: Animating 3D Talking Head with Optimal Transportation [20.023346831300373]
  OT-Talkは、音声ヘッドアニメーションの学習モデルを最適化するために最適なトランスポートを利用する最初のアプローチである。 既存の学習フレームワークに基づいて,事前学習したHubertモデルを用いて音声特徴を抽出し,変換器モデルを用いて時間的シーケンスを処理する。 2つの公開オーディオ・メシュ・データセットに対する実験により,本手法が最先端技術より優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-03T21:49:23Z)
• GaussianSpeech: Audio-Driven Gaussian Avatars [76.10163891172192]
  本稿では,3次元頭部アバターの高忠実度アニメーションシーケンスを音声音声から合成する手法であるGaussianSpeechを紹介する。 本稿では,表情に依存した色を生成するコンパクトで効率的な3DGSベースのアバター表現を提案する。
  論文  参考訳（メタデータ） (2024-11-27T18:54:08Z)
• NeRFFaceSpeech: One-shot Audio-driven 3D Talking Head Synthesis via Generative Prior [5.819784482811377]
  高品質な3D対応音声ヘッドを作成できる新しい方法NeRFFaceSpeechを提案する。 本手法では,1枚の画像に対応する3次元顔特徴空間を作成できる。 また,リパインネットを導入し,その情報不足を補う。
  論文  参考訳（メタデータ） (2024-05-09T13:14:06Z)
• FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models [85.16273912625022]
  音声信号から人間の頭部の高忠実度3次元動作系列を合成するための新しい生成手法であるFaceTalkを紹介する。 我々の知る限りでは、人間の頭部の現実的で高品質な運動合成のための生成的アプローチを提案するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-12-13T19:01:07Z)
• GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
  GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。 スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。 定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention [52.63080543011595]
  階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。 提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
  論文  参考訳（メタデータ） (2023-02-24T09:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。