論文の概要: CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation

• arxiv url: http://arxiv.org/abs/2608.15110v1
• Date: Sat, 15 Aug 2026 08:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.201225
• Title: CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation
• Title（参考訳）: CETalk: 音声駆動型3Dトーキングヘッド生成のための連続的バレンス覚醒制御
• Abstract要約: Valence--Arousal representations for fine-fine emotion control をベースとした音声駆動型3D顔アニメーションフレームワークCETalkを提案する。 CETalkは,リップシンク精度と感情表現性の両方において,最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 18.841894940869157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emotional 3D talking head generation aims to synthesize expressive facial animations with accurate lip synchronization. However, existing methods often rely on discrete emotion categories, which fail to capture the continuous evolution of affect. They also overlook the temporal frequency mismatch between audio articulation and emotional expression. In this paper, we propose CETalk, an audio-driven 3D facial animation framework conditioned on continuous Valence--Arousal (VA) representations for fine-grained emotion control. CETalk predicts a sequence of FLAME parameters through three key components: a Dynamic Emotion Modulation Module that adaptively scales emotional intensity using audio-derived cues; a Multi-Scale Temporal Modeling mechanism that employs parallel branches to decouple high-frequency articulatory movements from low-frequency emotional dynamics; and a Dynamic Fusion Mechanism that integrates these multi-scale features via an adaptive gating network. To support training and evaluation, we construct 3D-VA-MEAD, a large-scale dataset with automatically estimated VA annotations and reconstructed 3D facial motions. Extensive experiments demonstrate that CETalk outperforms state-of-the-art methods in both lip-sync accuracy and emotional expressiveness, while enabling smooth and controllable emotion transitions.
• Abstract（参考訳）: Emotional 3D talking head generationは、表情の表情を正確な唇同期で合成することを目的としている。 しかし、既存の方法はしばしば、感情の継続的な進化を捉えるのに失敗する、離散的な感情カテゴリーに依存している。 また、音声調音と感情表現の時間周波数ミスマッチも見落としている。 本稿では,感情制御のための連続的ヴァレンス・オーラル(VA)表現を前提とした,音声駆動型3次元顔アニメーションフレームワークCETalkを提案する。 CETalkはFLAMEパラメータのシーケンスを3つのキーコンポーネントを通じて予測する: 動的感情変調モジュール(Dynamic Emotion Modulation Module)は、オーディオから派生したキューを使って感情の強度を適応的にスケーリングし、並列ブランチを使って低周波の感情力学から高頻度の調音運動を分離するマルチスケールのテンポラルモデリング機構(Multi-Scale Temporal Modeling Mechanism)と、適応ゲーティングネットワークを介してこれらのマルチスケール特徴を統合するダイナミックフュージョン機構(Dynamic Fusion Mechanism)である。 トレーニングと評価を支援するために,VAアノテーションを自動推定した大規模データセットである3D-VA-MEADを構築し,顔の動きを再構成した。 CETalkは、スムーズで制御可能な感情遷移を可能にしながら、リップシンクの正確さと感情表現性の両方において最先端の手法より優れていることを示した。

関連論文リスト

• SEDTalker: Emotion-Aware 3D Facial Animation Using Frame-Level Speech Emotion Diarization [14.632533340477591]
  SEDTalkerは、音声駆動型3D顔アニメーションのための感情認識フレームワークである。 フレームレベルの音声感情ダイアリゼーションを用いて、きめ細かい表現制御を実現する。
  論文  参考訳（メタデータ） (2026-04-14T22:55:09Z)
• 3DXTalker: Unifying Identity, Lip Sync, Emotion, and Spatial Dynamics in Expressive 3D Talking Avatars [46.32463788372058]
  3DXTalkerは、データキュレーションされたアイデンティティモデリング、オーディオリッチ表現、空間力学制御性を通じて、表現力のある3Dトーキングアバターである。 我々は,標準音声埋め込みを超えて,フレームワイド振幅と感情的手がかりを導入し,優れた唇同期とニュアンスド表現の変調を実現した。
  論文  参考訳（メタデータ） (2026-02-11T04:31:13Z)
• EditEmoTalk: Controllable Speech-Driven 3D Facial Animation with Continuous Expression Editing [24.15552429255594]
  音声駆動型3D顔アニメーションは、音声から直接現実的で表現力のある顔の動きを生成することを目的としている。 本稿では,連続的な感情編集機能を備えた音声駆動型3D顔アニメーションフレームワークEditEmoTalkを提案する。
  論文  参考訳（メタデータ） (2026-01-15T02:21:22Z)
• EmoCAST: Emotional Talking Portrait via Emotive Text Description [56.42674612728354]
  EmoCASTは、正確なテキスト駆動感情合成のための拡散ベースのフレームワークである。 外観モデリングでは、感情的なプロンプトはテキスト誘導の分離された感情的モジュールを通して統合される。 EmoCASTは、現実的で感情的に表現され、音声同期されたトーキーヘッドビデオを生成する、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-08-28T10:02:06Z)
• HM-Talker: Hybrid Motion Modeling for High-Fidelity Talking Head Synthesis [90.74616208952791]
  HM-Talkerは、高忠実で時間的コヒーレントな話しヘッドを生成するための新しいフレームワークである。 AUs(Action Units)は、解剖学的に定義された顔面の筋肉の動きと、音素と視覚の相違を最小限に抑える暗黙的な特徴を使用する。
  論文  参考訳（メタデータ） (2025-08-14T12:01:52Z)
• MEDTalk: Multimodal Controlled 3D Facial Animation with Dynamic Emotions by Disentangled Embedding [48.54455964043634]
  MEDTalkは、きめ細かなダイナミックな会話ヘッド生成のための新しいフレームワークである。 音声と音声のテキストを統合し、フレームワイドの強度変化を予測し、静的な感情特徴を動的に調整し、リアルな感情表現を生成する。 生成した結果は、産業生産パイプラインに便利に統合できます。
  論文  参考訳（メタデータ） (2025-07-08T15:14:27Z)
• EmoDiffusion: Enhancing Emotional 3D Facial Animation with Latent Diffusion Models [66.67979602235015]
  エモディフュージョン(EmoDiffusion)は、音声中の様々な感情をアンタングルしてリッチな3次元の表情を生成する新しいアプローチである。 iPhone上のLiveLinkFaceを使ってアニメーション専門家の指導の下で表情をキャプチャする。
  論文  参考訳（メタデータ） (2025-03-14T02:54:22Z)
• Emotional Speech-Driven Animation with Content-Emotion Disentanglement [51.34635009347183]
  本研究では,感情表現の明示的な制御を可能にしつつ,音声からリップシンクを維持する3次元音声アバターを生成するEMOTEを提案する。 EmOTEは、同じデータでトレーニングされた最先端の方法よりも、リップシンクで音声駆動の顔アニメーションを生成する。
  論文  参考訳（メタデータ） (2023-06-15T09:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。