論文の概要: EAMM: One-Shot Emotional Talking Face via Audio-Based Emotion-Aware Motion Model

• arxiv url: http://arxiv.org/abs/2205.15278v2
• Date: Tue, 31 May 2022 10:15:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 12:06:46.517250
• Title: EAMM: One-Shot Emotional Talking Face via Audio-Based Emotion-Aware Motion Model
• Title（参考訳）: EAMM:音声による感情認識運動モデルによるワンショット感情会話
• Authors: Xinya Ji, Hang Zhou, Kaisiyuan Wang, Qianyi Wu, Wayne Wu, Feng Xu, Xun Cao
• Abstract要約: 本研究では,感情認識運動モデル(EAMM)を提案する。 両モジュールの結果を組み込むことで,任意の被験者に対して良好な話し声を生成できる。
• 参考スコア（独自算出の注目度）: 32.19539143308341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although significant progress has been made to audio-driven talking face generation, existing methods either neglect facial emotion or cannot be applied to arbitrary subjects. In this paper, we propose the Emotion-Aware Motion Model (EAMM) to generate one-shot emotional talking faces by involving an emotion source video. Specifically, we first propose an Audio2Facial-Dynamics module, which renders talking faces from audio-driven unsupervised zero- and first-order key-points motion. Then through exploring the motion model's properties, we further propose an Implicit Emotion Displacement Learner to represent emotion-related facial dynamics as linearly additive displacements to the previously acquired motion representations. Comprehensive experiments demonstrate that by incorporating the results from both modules, our method can generate satisfactory talking face results on arbitrary subjects with realistic emotion patterns.
• Abstract（参考訳）: 音声による発話顔生成には大きな進歩があったが、既存の方法は顔の感情を無視するか、任意の被験者に適用できない。 本稿では、感情源映像を取り入れたワンショットの感情会話顔を生成するための感情認識運動モデル(EAMM)を提案する。 具体的には,まず音声駆動非教師なしのゼロ・ファースト・オーダー・キーポイント・モーションから対話面を描画するaudio2facial-dynamicsモジュールを提案する。 さらに, 動きモデルの特性を探索し, 感情関係の表情動態を, 以前取得した動き表現に対する線形付加的変位として表現するインプリシット感情変位学習器を提案する。 包括的実験により,両モジュールの結果を組み込むことで,現実的な感情パターンを持つ任意の被験者に対して,良好な話し面結果を生成することができることを示した。

関連論文リスト

• Audio-Driven Emotional 3D Talking-Head Generation [47.6666060652434]
  本稿では,高精度な感情表現による高忠実・音声駆動型映像像の合成システムを提案する。 本研究では,無声音声入力に応答して自然なアイドル状態(非話者)ビデオを生成するポーズサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:23:05Z)
• EMOdiffhead: Continuously Emotional Control in Talking Head Generation via Diffusion [5.954758598327494]
  EMOdiffhead(エモディフヘッド)は、感情的なトーキングヘッドビデオ生成のための新しい方法である。 感情のカテゴリや強度のきめ細かい制御を可能にする。 他の感情像アニメーション法と比較して、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-11T13:23:22Z)
• DEEPTalk: Dynamic Emotion Embedding for Probabilistic Speech-Driven 3D Face Animation [14.07086606183356]
  音声駆動の3D顔アニメーションは、幅広い応用によって多くの注目を集めている。 現在の方法では、音声を通して伝達されるニュアンスな感情のアンダートーンを捉えることができず、単調な顔の動きを生成する。 音声入力から直接多様で感情的に豊かな表情を生成する新しいアプローチであるDEEPTalkを紹介する。
  論文  参考訳（メタデータ） (2024-08-12T08:56:49Z)
• EmoSpeaker: One-shot Fine-grained Emotion-Controlled Talking Face Generation [34.5592743467339]
  微粒な顔のアニメーションを生成する視覚属性誘導型オーディオデカップラを提案する。 より正確な感情表現を実現するために,よりきめ細かな感情係数予測モジュールを導入する。 提案手法であるEmoSpeakerは,表情の変動や唇の同期の点で,既存の感情音声生成法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-02T14:04:18Z)
• Emotional Listener Portrait: Realistic Listener Motion Simulation in Conversation [50.35367785674921]
  リスナーヘッドジェネレーションは、話者から提供される情報を参照して、リスナーの非言語行動を生成することに集中する。 このような反応を生成する上で重要な課題は、会話中のきめ細かい表情の非決定論的性質である。 本稿では,複数の個別な動きコーパスの合成として,各顔の動きを微粒化処理する情緒的リスナー・ポートレート(ELP)を提案する。 ELPモデルは,学習分布からのサンプリングにより,与えられた話者に対する自然な,多様な応答を自動的に生成するだけでなく,所定の姿勢で制御可能な応答を生成することができる。
  論文  参考訳（メタデータ） (2023-09-29T18:18:32Z)
• Emotional Speech-Driven Animation with Content-Emotion Disentanglement [51.34635009347183]
  本研究では,感情表現の明示的な制御を可能にしつつ,音声からリップシンクを維持する3次元音声アバターを生成するEMOTEを提案する。 EmOTEは、同じデータでトレーニングされた最先端の方法よりも、リップシンクで音声駆動の顔アニメーションを生成する。
  論文  参考訳（メタデータ） (2023-06-15T09:31:31Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)
• Audio-Driven Emotional Video Portraits [79.95687903497354]
  Emotional Video Portraits(EVP)は、オーディオによって駆動される鮮やかな感情的なダイナミクスで高品質のビデオポートレートを合成するシステムです。 具体的には,音声を2つの分離空間に分解するクロスリコンストラクテッド感情不等角化手法を提案する。 ゆがんだ特徴によって、動的2D感情的な顔のランドマークは推定することができます。 次に,最終的な高品質映像画像を生成するために,ターゲット適応型顔合成手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T13:37:13Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)
• Speech Driven Talking Face Generation from a Single Image and an Emotion Condition [28.52180268019401]
  音声駆動音声合成における視覚的感情表現のレンダリングのための新しい手法を提案する。 本研究では, 音声音声, 単一顔画像, カテゴリー感情ラベルを入力として, エンドツーエンドの音声音声生成システムの設計を行う。 画像品質,視覚的同期,視覚的感情表現を客観的に評価した結果,提案システムは最先端のベースラインシステムよりも優れていた。
  論文  参考訳（メタデータ） (2020-08-08T20:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。