論文の概要: SynchroRaMa : Lip-Synchronized and Emotion-Aware Talking Face Generation via Multi-Modal Emotion Embedding

• arxiv url: http://arxiv.org/abs/2509.19965v1
• Date: Wed, 24 Sep 2025 10:21:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.773275
• Title: SynchroRaMa : Lip-Synchronized and Emotion-Aware Talking Face Generation via Multi-Modal Emotion Embedding
• Title（参考訳）: SynchroRaMa : マルチモーダル感情埋め込みによる唇同期・感情認識顔生成
• Authors: Phyo Thet Yee, Dimitrios Kollias, Sudeepta Mishra, Abhinav Dhall,
• Abstract要約: SynchroRaMaは、テキストと音声の感情信号を組み合わせることで、マルチモーダルな感情埋め込みを統合する新しいフレームワークである。 SynchroRaMaにはオーディオ・トゥ・モーション(A2M)モジュールが含まれており、入力されたオーディオに合わせてモーションフレームを生成する。 ベンチマークデータセットの実験では、SynchroRaMaが最先端よりも優れていることが示されている。
• 参考スコア（独自算出の注目度）: 22.47072342385842
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Audio-driven talking face generation has received growing interest, particularly for applications requiring expressive and natural human-avatar interaction. However, most existing emotion-aware methods rely on a single modality (either audio or image) for emotion embedding, limiting their ability to capture nuanced affective cues. Additionally, most methods condition on a single reference image, restricting the model's ability to represent dynamic changes in actions or attributes across time. To address these issues, we introduce SynchroRaMa, a novel framework that integrates a multi-modal emotion embedding by combining emotional signals from text (via sentiment analysis) and audio (via speech-based emotion recognition and audio-derived valence-arousal features), enabling the generation of talking face videos with richer and more authentic emotional expressiveness and fidelity. To ensure natural head motion and accurate lip synchronization, SynchroRaMa includes an audio-to-motion (A2M) module that generates motion frames aligned with the input audio. Finally, SynchroRaMa incorporates scene descriptions generated by Large Language Model (LLM) as additional textual input, enabling it to capture dynamic actions and high-level semantic attributes. Conditioning the model on both visual and textual cues enhances temporal consistency and visual realism. Quantitative and qualitative experiments on benchmark datasets demonstrate that SynchroRaMa outperforms the state-of-the-art, achieving improvements in image quality, expression preservation, and motion realism. A user study further confirms that SynchroRaMa achieves higher subjective ratings than competing methods in overall naturalness, motion diversity, and video smoothness. Our project page is available at <https://novicemm.github.io/synchrorama>.
• Abstract（参考訳）: 音声駆動の会話顔生成は、特に表現力と自然な人間とアバターの相互作用を必要とするアプリケーションにとって、関心が高まっている。 しかし、既存の感情認識手法の多くは、感情を埋め込むための単一のモダリティ(音声や画像)に依存しており、ニュアンスのある感情的手がかりを捉える能力を制限する。 さらに、ほとんどのメソッドは単一の参照イメージで条件を定めており、時間をかけてアクションや属性の動的な変更を表現できるモデルの能力を制限する。 これらの問題に対処するために、SynchroRaMaは、テキスト(感情分析)と音声(音声に基づく感情認識と音声から派生した原子価-覚醒特徴)の感情信号を組み合わせることで、マルチモーダルな感情埋め込みを統合した新しいフレームワークである。 自然な頭部の動きと正確な唇の同期を確保するため、SynchroRaMaはオーディオ・トゥ・モーション(A2M)モジュールを含む。 最後に、SynchroRaMaはLarge Language Model (LLM)によって生成されたシーン記述を追加のテキスト入力として組み込んでおり、動的アクションと高レベルのセマンティック属性をキャプチャすることができる。 視覚的およびテキスト的手がかりの両方にモデルを条件付けすることで、時間的一貫性と視覚的リアリズムが向上する。 ベンチマークデータセットの定量的および定性的な実験は、SynchroRaMaが最先端を上回り、画質、表現保存、モーションリアリズムの改善を実現していることを示している。 ユーザ調査により、SynchroRaMaは、全体的な自然性、動きの多様性、ビデオの滑らかさにおいて、競合する手法よりも高い主観的評価が得られることが確認された。 私たちのプロジェクトページは <https://novicemm.github.io/synchrorama> で公開されている。

関連論文リスト

• MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
  Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。 既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。 MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T18:59:51Z)
• EmoCAST: Emotional Talking Portrait via Emotive Text Description [56.42674612728354]
  EmoCASTは、正確なテキスト駆動感情合成のための拡散ベースのフレームワークである。 外観モデリングでは、感情的なプロンプトはテキスト誘導の分離された感情的モジュールを通して統合される。 EmoCASTは、現実的で感情的に表現され、音声同期されたトーキーヘッドビデオを生成する、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-08-28T10:02:06Z)
• OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation [29.41106195298283]
  既存のビデオアバターモデルは、流動的な人間のアニメーションを作り出すことができるが、キャラクターの真の本質を捉えるために、単なる物理的類似性を超えて動くのに苦労している。 textbfweは、物理的に妥当なだけでなく、意味的に一貫性があり表現力のあるキャラクターアニメーションを生成するために設計されたフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-26T17:15:26Z)
• Taming Transformer for Emotion-Controllable Talking Face Generation [61.835295250047196]
  本稿では,感情制御可能な発話顔生成タスクを個別に行うための新しい手法を提案する。 具体的には、2つの事前学習戦略を用いて、音声を独立したコンポーネントに分解し、映像を視覚トークンの組み合わせに定量化する。 我々は、複数の感情的オーディオで調整された映像の感情を制御するMEADデータセット上で実験を行う。
  論文  参考訳（メタデータ） (2025-08-20T02:16:52Z)
• Think-Before-Draw: Decomposing Emotion Semantics & Fine-Grained Controllable Expressive Talking Head Generation [7.362433184546492]
  コンピュータビジョンとマルチモーダル人工知能の交差点における重要な研究領域として、感情的トーキー生成が出現している。 本研究では,2つの課題に対処するThink-Before-Drawフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-17T03:33:46Z)
• MEDTalk: Multimodal Controlled 3D Facial Animation with Dynamic Emotions by Disentangled Embedding [48.54455964043634]
  MEDTalkは、きめ細かなダイナミックな会話ヘッド生成のための新しいフレームワークである。 音声と音声のテキストを統合し、フレームワイドの強度変化を予測し、静的な感情特徴を動的に調整し、リアルな感情表現を生成する。 生成した結果は、産業生産パイプラインに便利に統合できます。
  論文  参考訳（メタデータ） (2025-07-08T15:14:27Z)
• EmoGene: Audio-Driven Emotional 3D Talking-Head Generation [47.6666060652434]
  EmoGeneは、正確な感情表現を備えた高忠実でオーディオ駆動型ビデオポートレートのためのフレームワークである。 本手法では,顔のランドマークを生成するために,可変オートエンコーダ(VAE)ベースのオーディオ・トゥ・モーション・モジュールを用いる。 NeRFベースの感情ビデオモジュールは、リアルな感情的なトーキングヘッドビデオを表示する。
  論文  参考訳（メタデータ） (2024-10-07T08:23:05Z)
• DREAM-Talk: Diffusion-based Realistic Emotional Audio-driven Method for Single Image Talking Face Generation [75.90730434449874]
  DREAM-Talkは2段階の拡散に基づく音声駆動フレームワークで,多彩な表現と正確な唇同期の同時生成に適したフレームワークである。 唇の動きと音声との強い相関を考慮し、音声特徴と感情スタイルを用いて、唇同期精度を向上して力学を洗練する。 定量的かつ質的にも、DREAM-Talkは表現性、リップシンクの精度、知覚品質の点で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-12-21T05:03:18Z)
• GMTalker: Gaussian Mixture-based Audio-Driven Emotional Talking Video Portraits [60.05683966405544]
  GMTalkerはガウスの混合合成による感情的な音声画像生成フレームワークである。 具体的には,よりフレキシブルな感情操作を実現するために,連続的かつ不整合な潜在空間を提案する。 また,多種多様な頭部ポーズ,瞬き,眼球運動を生成するために,大規模データセット上で事前訓練された正規化フローベースモーションジェネレータを導入する。
  論文  参考訳（メタデータ） (2023-12-12T19:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。