論文の概要: EmoZone-Talker: Regional Semantic Control of Audio-Driven 3DGS Talking Heads via Facial Action Units
- arxiv url: http://arxiv.org/abs/2606.15848v1
- Date: Sun, 14 Jun 2026 15:10:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.891516
- Title: EmoZone-Talker: Regional Semantic Control of Audio-Driven 3DGS Talking Heads via Facial Action Units
- Title（参考訳）: EmoZone-Talker: 顔アクションユニットによる音声駆動型3DGSトーキングヘッドの局所的セマンティック制御
- Abstract要約: EmoZone-Talkerは、音声による顔のアニメーションを構造化された時空間調整問題として再構成する新しいフレームワークである。
提案手法は,上面の精度と時間的コヒーレンスを顕著に向上させ,表現制御性とリアリズムを向上させる。
- 参考スコア（独自算出の注目度）: 28.454399017725006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3DGS) has shown strong potential for high-fidelity talking head synthesis. However, enabling fine-grained, interpretable, and editable facial expression control remains fundamentally challenging due to intrinsic conflicts between speech-driven facial dynamics and explicit expression signals. Existing methods rely on implicit multimodal fusion, leading to spatial entanglement and temporal instability. We present EmoZone-Talker, a novel framework that reformulates audio-driven facial animation as a structured spatial-temporal coordination problem under cross-modal conflicts. Our approach introduces an explicit spatial disentanglement and temporal dynamics modeling of facial motion. Specifically, we propose Synergy Zones with Prioritized Attention Bias (SZ-PAB) to explicitly decouple modality contributions via region-wise constraints guided by anatomical priors, and a Channel-Independent Temporal AU Encoder (CIT-AE) to model temporally coherent AU dynamics. By integrating these representations into 3D Gaussian deformation, EmoZone-Talker enables precise and interpretable control over facial expressions. Extensive experiments demonstrate that our method improves expression controllability and realism, with notable gains in upper-face accuracy and temporal coherence, while preserving high rendering quality and accurate lip synchronization. Code will be publicly released to facilitate reproducibility and further research.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は高忠実な音声ヘッド合成の可能性を示した。
しかし、音声駆動の表情力学と明示的な表情信号との本質的な対立のため、きめ細かな、解釈可能な、編集可能な表情制御を可能にすることは、基本的には困難である。
既存の方法は暗黙のマルチモーダル融合に依存しており、空間的絡み合いと時間的不安定をもたらす。
EmoZone-Talkerは,モーダル・コンフリクト下での空間的空間的調整問題として,音声による顔のアニメーションを再構成する新しいフレームワークである。
提案手法では,顔の動きの空間的ゆがみと時間的ダイナミックスモデリングを導入する。
具体的には,SZ-PAB(Synergy Zones with Prioritized Attention Bias)を用いて,解剖学的先行性によって導かれる領域的制約によるモダリティ寄与を明示的に分離する手法と,時間的コヒーレントなAUダイナミクスをモデル化するためのCIT-AE(Channel-Independent Temporal AU Encoder)を提案する。
これらの表現を3次元ガウス変形に統合することにより、EmoZone-Talkerは表情の精密かつ解釈可能な制御を可能にする。
大規模な実験により,上面の精度と時間的コヒーレンスを向上し,高いレンダリング品質と正確な唇同期を保ちながら,表現制御性とリアリズムを向上させることが実証された。
再現性とさらなる研究を促進するために、コードは公開されている。
関連論文リスト
- Dynamic-Robust Photometric-Semantic Reconstruction for Open-Vocabulary 3D Scene Understanding [63.599342750566485]
SPARは、潜在空間アグリゲーションの前に過渡的ダイナミックノイズを明示的に分離する新しい意味幾何学的エンコーディングアーキテクチャである。
エンド・ツー・エンドのアプローチは例外的な新規なビュー合成品質を実現し、PSNRは22.15dB、23.33dBでそれぞれ3と4の入力ビューしか与えられなかった。
論文 参考訳（メタデータ） (2026-08-29T09:58:24Z) - ECHO: Dyadic 3D Facial Motion Generation with Asymmetric Deterministic Articulation and Stochastic Reaction [12.994613743334218]
厳密なデュアルストリーム音声のみの設定下での3次元顔動作生成のためのECHOを提案する。
この非対称性に対処するため、ECHOは動きを決定論的アンカーに分解し、安定した音声関連構造をキャプチャする。
ECHOは、単一の生成プロセスにおいて、話し側の明瞭さとリスニング側のリアリズムと多様性のバランスをとる。
論文 参考訳（メタデータ） (2026-08-29T01:48:51Z) - KM-Speaker: Keypoint-Based Style Control for High-Quality Speech-Driven 3D Facial Animation and Dialogue Localization [8.476386736680002]
KM-Speakerは、音声駆動型3D顔アニメーションのためのキーポイント条件付きフローベース生成フレームワークである。
グローバルスタイルのガイダンスと、参照パフォーマンスからのフレームレベルの時間制御の両方を提供する。
KM-Speakerは、リップシンクの精度、スタイルの忠実さ、表現力のある時間制御において、最先端の手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2026-06-26T19:48:44Z) - Talking Head Generation via AU-Guided Landmark Prediction [48.30051606459973]
顔行動単位(AUs)を用いた微粒化表現制御による音声駆動音声ヘッド生成のための2段階フレームワークを提案する。
第1段階では、変動運動生成器は、音声およびAU強度から時間的にコヒーレントなランドマークシーケンスを予測する。
第2段階では、拡散に基づく合成器がこれらのランドマークと参照画像に調和したリアルなリップ同期ビデオを生成する。
論文 参考訳（メタデータ） (2025-09-24T04:01:57Z) - HM-Talker: Hybrid Motion Modeling for High-Fidelity Talking Head Synthesis [90.74616208952791]
HM-Talkerは、高忠実で時間的コヒーレントな話しヘッドを生成するための新しいフレームワークである。
AUs(Action Units)は、解剖学的に定義された顔面の筋肉の動きと、音素と視覚の相違を最小限に抑える暗黙的な特徴を使用する。
論文 参考訳（メタデータ） (2025-08-14T12:01:52Z) - Audio-Plane: Audio Factorization Plane Gaussian Splatting for Real-Time Talking Head Synthesis [56.749927786910554]
本稿では,ガウススティングと構造化オーディオファクトリゼーションプレーン(Audio-Plane)を統合し,高品質,音声同期,リアルタイム音声ヘッド生成を実現する新しいフレームワークを提案する。
提案手法は,最先端の視覚的品質,正確なオーディオ-リップ同期,リアルタイム性能を実現し,従来の2次元および3次元のパラダイムよりも優れていた。
論文 参考訳（メタデータ） (2025-03-28T16:50:27Z) - DisentTalk: Cross-lingual Talking Face Generation via Semantic Disentangled Diffusion Model [7.165879904419689]
DisentTalkは3DMM式パラメータを意味のある部分空間に分解し、きめ細かい顔制御を行うデータ駆動型セマンティック・ディコンタングルメントフレームワークを提供する。
高品質な中国語学習データの不足に対処するため、中国語の高精細な話し顔データセットであるCHDTFを紹介した。
論文 参考訳（メタデータ） (2025-03-24T11:46:34Z) - TalkingGaussian: Structure-Persistent 3D Talking Head Synthesis via Gaussian Splatting [21.474938045227702]
本研究では,高忠実度音声ヘッド合成のための変形型放射場フレームワークであるTalkingGaussianを紹介する。
提案手法は, 従来の方法と比較して, 顔の忠実度と効率性を向上し, 高品質な唇同期音声ヘッドビデオを生成する。
論文 参考訳（メタデータ） (2024-04-23T17:55:07Z) - FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models [85.16273912625022]
音声信号から人間の頭部の高忠実度3次元動作系列を合成するための新しい生成手法であるFaceTalkを紹介する。
我々の知る限りでは、人間の頭部の現実的で高品質な運動合成のための生成的アプローチを提案するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-12-13T19:01:07Z) - Efficient Region-Aware Neural Radiance Fields for High-Fidelity Talking
Portrait Synthesis [20.111316792226482]
ER-NeRF(ER-NeRF)は、NeRF(Neural Radiance Fields)をベースとした音声ポートレートアーキテクチャである。
提案手法は,従来の手法と比較して,現実的なディテールと高効率で,高忠実さとオーディオリップを向上する。
論文 参考訳（メタデータ） (2023-07-18T15:07:39Z) - Pose-Controllable 3D Facial Animation Synthesis using Hierarchical
Audio-Vertex Attention [52.63080543011595]
階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。
提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
論文 参考訳（メタデータ） (2023-02-24T09:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。