論文の概要: Text-Driven Emotionally Continuous Talking Face Generation

• arxiv url: http://arxiv.org/abs/2603.06071v1
• Date: Fri, 06 Mar 2026 09:24:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.488196
• Title: Text-Driven Emotionally Continuous Talking Face Generation
• Title（参考訳）: テキスト駆動型感情連続型顔生成
• Authors: Hao Yang, Yanyan Zhao, Tian Zheng, Hongbo Zhang, Bichen Wang, Di Wu, Xing Fu, Xuda Zhi, Yongbo Huang, Hao He,
• Abstract要約: 実写映像を合成するために,情緒的連続発話顔生成(EC-TFG)を提案する。 EC-TFGは、テキストセグメントと様々な感情を駆動データとして記述し、その人がテキストを話すビデオを生成する。 本稿では,動的感情変動を革新的に管理する,時間集中型感情変調顔生成(TIE-TFG)のカスタマイズモデルを提案する。
• 参考スコア（独自算出の注目度）: 24.062908127306695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Talking Face Generation (TFG) strives to create realistic and emotionally expressive digital faces. While previous TFG works have mastered the creation of naturalistic facial movements, they typically express a fixed target emotion in synthetic videos and lack the ability to exhibit continuously changing and natural expressions like humans do when conveying information. To synthesize realistic videos, we propose a novel task called Emotionally Continuous Talking Face Generation (EC-TFG), which takes a text segment and an emotion description with varying emotions as driving data, aiming to generate a video where the person speaks the text while reflecting the emotional changes within the description. Alongside this, we introduce a customized model, i.e., Temporal-Intensive Emotion Modulated Talking Face Generation (TIE-TFG), which innovatively manages dynamic emotional variations by employing Temporal-Intensive Emotion Fluctuation Modeling, allowing it to provide emotion variation sequences corresponding to the input text to drive continuous facial expression changes in synthesized videos. Extensive evaluations demonstrate our method's exceptional ability to produce smooth emotion transitions and uphold high-quality visuals and motion authenticity across diverse emotional states.
• Abstract（参考訳）: Talking Face Generation (TFG)は、リアルで感情的に表現力のあるデジタル顔を作ることを目指している。 TFGの以前の研究は、自然主義的な顔の動きの創造をマスターしてきたが、一般的には、合成ビデオで固定された目標の感情を表現し、情報を伝える際に人間が行うような継続的な変化と自然な表現を示す能力が欠如している。 リアルな映像を合成するために,テキストセグメントと様々な感情を持つ感情記述を駆動データとして用い,その中の感情変化を反映しながらテキストを話す映像を生成する,感情連続型顔生成(EC-TFG)という新しいタスクを提案する。 これに加えて、テンポラル・集中的感情変動モデル(TIE-TFG)を用いて、動的感情変動を革新的に管理する、テンポラル・集中的感情変調顔生成(TIE-TFG)というカスタマイズモデルを導入し、入力テキストに対応する感情変化シーケンスを提供し、合成ビデオにおける連続的な表情変化を駆動する。 広汎な評価は、スムーズな感情遷移を発生させ、様々な感情状態における高品質な視覚と動きの正当性を維持するという、我々の方法の異常な能力を示す。

関連論文リスト

• EmoCAST: Emotional Talking Portrait via Emotive Text Description [56.42674612728354]
  EmoCASTは、正確なテキスト駆動感情合成のための拡散ベースのフレームワークである。 外観モデリングでは、感情的なプロンプトはテキスト誘導の分離された感情的モジュールを通して統合される。 EmoCASTは、現実的で感情的に表現され、音声同期されたトーキーヘッドビデオを生成する、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-08-28T10:02:06Z)
• Taming Transformer for Emotion-Controllable Talking Face Generation [61.835295250047196]
  本稿では,感情制御可能な発話顔生成タスクを個別に行うための新しい手法を提案する。 具体的には、2つの事前学習戦略を用いて、音声を独立したコンポーネントに分解し、映像を視覚トークンの組み合わせに定量化する。 我々は、複数の感情的オーディオで調整された映像の感情を制御するMEADデータセット上で実験を行う。
  論文  参考訳（メタデータ） (2025-08-20T02:16:52Z)
• MEDTalk: Multimodal Controlled 3D Facial Animation with Dynamic Emotions by Disentangled Embedding [48.54455964043634]
  MEDTalkは、きめ細かなダイナミックな会話ヘッド生成のための新しいフレームワークである。 音声と音声のテキストを統合し、フレームワイドの強度変化を予測し、静的な感情特徴を動的に調整し、リアルな感情表現を生成する。 生成した結果は、産業生産パイプラインに便利に統合できます。
  論文  参考訳（メタデータ） (2025-07-08T15:14:27Z)
• EmoDiffusion: Enhancing Emotional 3D Facial Animation with Latent Diffusion Models [66.67979602235015]
  エモディフュージョン(EmoDiffusion)は、音声中の様々な感情をアンタングルしてリッチな3次元の表情を生成する新しいアプローチである。 iPhone上のLiveLinkFaceを使ってアニメーション専門家の指導の下で表情をキャプチャする。
  論文  参考訳（メタデータ） (2025-03-14T02:54:22Z)
• DEEPTalk: Dynamic Emotion Embedding for Probabilistic Speech-Driven 3D Face Animation [14.07086606183356]
  音声駆動の3D顔アニメーションは、幅広い応用によって多くの注目を集めている。 現在の方法では、音声を通して伝達されるニュアンスな感情のアンダートーンを捉えることができず、単調な顔の動きを生成する。 音声入力から直接多様で感情的に豊かな表情を生成する新しいアプローチであるDEEPTalkを紹介する。
  論文  参考訳（メタデータ） (2024-08-12T08:56:49Z)
• CSTalk: Correlation Supervised Speech-driven 3D Emotional Facial Animation Generation [13.27632316528572]
  音声駆動の3D顔アニメーション技術は長年開発されてきたが、実用的応用には期待できない。 主な課題は、データ制限、唇のアライメント、表情の自然さである。 本稿では,顔の動きの異なる領域間の相関をモデル化し,生成モデルの訓練を監督し,現実的な表現を生成するCSTalkという手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T11:19:15Z)
• Emotional Speech-Driven Animation with Content-Emotion Disentanglement [51.34635009347183]
  本研究では,感情表現の明示的な制御を可能にしつつ,音声からリップシンクを維持する3次元音声アバターを生成するEMOTEを提案する。 EmOTEは、同じデータでトレーニングされた最先端の方法よりも、リップシンクで音声駆動の顔アニメーションを生成する。
  論文  参考訳（メタデータ） (2023-06-15T09:31:31Z)
• Expressive Speech-driven Facial Animation with controllable emotions [12.201573788014622]
  本稿では,音声から表情の表情を生成するための深層学習に基づく新しいアプローチを提案する。 広視野の表情を、制御可能な感情タイプと強度で表現することができる。 感情制御可能な顔アニメーションを可能にし、ターゲット表現を継続的に調整することができる。
  論文  参考訳（メタデータ） (2023-01-05T11:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。