論文の概要: EmoTalker: Emotionally Editable Talking Face Generation via Diffusion Model

• arxiv url: http://arxiv.org/abs/2401.08049v1
• Date: Tue, 16 Jan 2024 02:02:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 15:25:17.407804
• Title: EmoTalker: Emotionally Editable Talking Face Generation via Diffusion Model
• Title（参考訳）: EmoTalker: 拡散モデルによる感情編集可能な顔生成
• Authors: Bingyuan Zhang, Xulong Zhang, Ning Cheng, Jun Yu, Jing Xiao, Jianzong Wang
• Abstract要約: EmoTalkerは、拡散モデルに基づく感情的に編集可能なポートレートアニメーションアプローチである。 感情インテンシティブロックは、プロンプトから派生したきめ細かい感情や強みを分析するために導入された。 EmoTalkerが高品質で感情的にカスタマイズ可能な表情生成に有効であることを示す実験を行った。
• 参考スコア（独自算出の注目度）: 39.14430238946951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, the field of talking faces generation has attracted considerable attention, with certain methods adept at generating virtual faces that convincingly imitate human expressions. However, existing methods face challenges related to limited generalization, particularly when dealing with challenging identities. Furthermore, methods for editing expressions are often confined to a singular emotion, failing to adapt to intricate emotions. To overcome these challenges, this paper proposes EmoTalker, an emotionally editable portraits animation approach based on the diffusion model. EmoTalker modifies the denoising process to ensure preservation of the original portrait's identity during inference. To enhance emotion comprehension from text input, Emotion Intensity Block is introduced to analyze fine-grained emotions and strengths derived from prompts. Additionally, a crafted dataset is harnessed to enhance emotion comprehension within prompts. Experiments show the effectiveness of EmoTalker in generating high-quality, emotionally customizable facial expressions.
• Abstract（参考訳）: 近年では、人間の表情を説得力よく模倣する仮想顔を生成する手法が開発され、話し手生成の分野が注目されている。 しかし、既存の手法は限定的な一般化、特に挑戦的なアイデンティティを扱う場合に関連する課題に直面している。 さらに、表現の編集方法は、しばしば特定の感情に限られ、複雑な感情に適応できない。 これらの課題を克服するため,本稿では,拡散モデルに基づく感情編集可能なポートレートアニメーションアプローチであるemotalkerを提案する。 EmoTalkerは、推論中に元のポートレートのアイデンティティを確実に保持するために、デノナイズプロセスを変更する。 テキスト入力からの感情理解を高めるために、感情インテンシティブロックを導入し、プロンプトからのきめ細かい感情や強みを分析する。 さらに、プロンプト内の感情理解を高めるために、クラフトデータセットを利用する。 EmoTalkerは、高品質で感情的にカスタマイズ可能な表情を生成できる。

関連論文リスト

• EMOdiffhead: Continuously Emotional Control in Talking Head Generation via Diffusion [5.954758598327494]
  EMOdiffhead(エモディフヘッド)は、感情的なトーキングヘッドビデオ生成のための新しい方法である。 感情のカテゴリや強度のきめ細かい制御を可能にする。 他の感情像アニメーション法と比較して、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-11T13:23:22Z)
• Towards Localized Fine-Grained Control for Facial Expression Generation [54.82883891478555]
  人間、特にその顔は、豊かな表現と意図を伝える能力のために、コンテンツ生成の中心である。 現在の生成モデルは、主に平らな中立表現と文字なしの笑顔を認証なしで生成する。 顔生成における表情制御におけるAU(アクションユニット)の利用を提案する。
  論文  参考訳（メタデータ） (2024-07-25T18:29:48Z)
• EmoSphere-TTS: Emotional Style and Intensity Modeling via Spherical Emotion Vector for Controllable Emotional Text-to-Speech [34.03787613163788]
  EmoSphere-TTSは球面感情ベクトルを用いて表現的感情音声を合成し、合成音声の感情的スタイルと強度を制御する。 マルチアスペクト特性を反映して生成した音声の品質を向上させるための2つの条件付き対向ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T01:40:29Z)
• EmoSpeaker: One-shot Fine-grained Emotion-Controlled Talking Face Generation [34.5592743467339]
  微粒な顔のアニメーションを生成する視覚属性誘導型オーディオデカップラを提案する。 より正確な感情表現を実現するために,よりきめ細かな感情係数予測モジュールを導入する。 提案手法であるEmoSpeakerは,表情の変動や唇の同期の点で,既存の感情音声生成法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-02T14:04:18Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• Emotional Speech-Driven Animation with Content-Emotion Disentanglement [51.34635009347183]
  本研究では,感情表現の明示的な制御を可能にしつつ,音声からリップシンクを維持する3次元音声アバターを生成するEMOTEを提案する。 EmOTEは、同じデータでトレーニングされた最先端の方法よりも、リップシンクで音声駆動の顔アニメーションを生成する。
  論文  参考訳（メタデータ） (2023-06-15T09:31:31Z)
• High-fidelity Generalized Emotional Talking Face Generation with Multi-modal Emotion Space Learning [43.09015109281053]
  よりフレキシブルで汎用的な顔生成フレームワークを提案する。 具体的には、テキストプロンプトで感情スタイルを補完し、テキスト、画像、音声の感情のモダリティを統一された空間に埋め込むためにアラインド・マルチモーダル・感情エンコーダを使用する。 感情条件と音声シーケンスを構造表現に接続する感情認識型オーディオ-to-3DMM変換器を提案する。
  論文  参考訳（メタデータ） (2023-05-04T05:59:34Z)
• Expressive Speech-driven Facial Animation with controllable emotions [12.201573788014622]
  本稿では,音声から表情の表情を生成するための深層学習に基づく新しいアプローチを提案する。 広視野の表情を、制御可能な感情タイプと強度で表現することができる。 感情制御可能な顔アニメーションを可能にし、ターゲット表現を継続的に調整することができる。
  論文  参考訳（メタデータ） (2023-01-05T11:17:19Z)
• Emotion-aware Chat Machine: Automatic Emotional Response Generation for Human-like Emotional Interaction [55.47134146639492]
  この記事では、投稿中のセマンティクスと感情を同時にエンコードできる、未定義のエンドツーエンドニューラルネットワークを提案する。 実世界のデータを用いた実験により,提案手法は,コンテンツコヒーレンスと感情の適切性の両方の観点から,最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-06T06:26:15Z)
• Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
  深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。 連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-22T13:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。