論文の概要: EMODY Flow: Emotion-Aware Audio-Driven Full-Body Motion Generation

• arxiv url: http://arxiv.org/abs/2609.16011v1
• Date: Wed, 19 Aug 2026 07:47:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.673256
• Title: EMODY Flow: Emotion-Aware Audio-Driven Full-Body Motion Generation
• Title（参考訳）: EMODY Flow:感情対応オーディオ駆動フルボディモーション生成
• Abstract要約: 身体的会話エージェントは、音声や感情の状態に合わせて、全身の動き(身体のジェスチャーと表情)を同期させる必要がある。 我々は,凍結したQwen-3 Omniモデルに接続し,内部のMimiオーディオコーデックを2つの並列DiTジェネレータに再利用するフローマッチングフレームワークEMODY Flowを提案する。 訓練時補助感情分類器は、生成された動きを感情識別可能に強制することにより、感情感受性を回復する。
• 参考スコア（独自算出の注目度）: 18.164040733848797
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Embodied conversational agents require synchronized full-body motion (body gestures and facial expressions) that aligns with speech and emotional state. Omni-modal large language models excel at multimodal understanding but produce only linguistic outputs, leaving a critical gap in embodied response generation. We identify and address a failure of emotion conditioning: like other conditional generators that under-use weak conditioning signals, a flow-matching model given both a rich audio embedding and a discrete emotion label suppresses the emotion, generating near-identical motion regardless of the specified emotion. We present EMODY Flow, a lightweight (around 35M parameters) flow-matching framework that attaches to a frozen Qwen-3 Omni model and reuses its internal Mimi audio-codecs to condition two parallel DiT generators - one for SMPL-X body pose, one for FLAME facial expressions. A training-time auxiliary emotion classifier restores emotion sensitivity by forcing generated motion to be emotion-identifiable. EMODY Flow sets a new state of the art on BEAT2 gesture quality, with FGD 0.302, Beat Correlation 0.853, and Diversity 24.62 - improving over the best prior results by 26%, 5%, and 62% respectively - and transfers to zero-shot facial animation on TFHP without domain-specific fine-tuning. Beyond these quantitative gains, the classifier yields clearly emotion-separated motion, which we demonstrate qualitatively through a multidimensional-scaling analysis of the generated gestures.
• Abstract（参考訳）: 身体的会話エージェントは、音声や感情の状態に合わせて、全身の動き(身体のジェスチャーと表情)を同期させる必要がある。 オムニモーダルな大言語モデルは多モーダル理解において優れているが、言語出力しか生成せず、具体的応答生成において重要なギャップを残している。 弱い条件付け信号を使用する他の条件生成装置と同様に、リッチなオーディオ埋め込みと離散的な感情ラベルの両方が与えられたフローマッチングモデルが感情を抑圧し、特定の感情によらず身近な動きを発生させる。 凍結したQwen-3 Omniモデルに接続し、内部のMimiオーディオコーデックを2つのパラレルDiTジェネレータ(SMPL-Xボディーポーズ用、FLAME表情用)に再利用する軽量な(約35Mパラメータ)フローマッチングフレームワークEMODY Flowを提案する。 訓練時補助感情分類器は、生成された動きを感情識別可能に強制することにより、感情感受性を回復する。 FGD 0.302, Beat correlation 0.853, Diversity 24.62 – 最高の事前結果よりも26%,5%,62%向上し,ドメイン固有の微調整なしでTFHP上でゼロショットの顔アニメーションに移行する。 これらの量的利得の他に、分類器は明確な感情分離運動を生じさせ、生成したジェスチャーの多次元スケーリング分析を通して質的に示す。

関連論文リスト

• CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation [18.841894940869157]
  Valence--Arousal representations for fine-fine emotion control をベースとした音声駆動型3D顔アニメーションフレームワークCETalkを提案する。 CETalkは,リップシンク精度と感情表現性の両方において,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-15T08:22:50Z)
• MEDN: Motion-Emotion Feature Decoupling Network for Micro-Expression Recognition [28.87936777678119]
  本稿では,マイクロ圧縮認識のための運動感情特徴デカップリングネットワーク(MEDN)を提案する。 動作特徴と感情特徴を別々に抽出するデュアルブランチフレームワークを提案する。 3つのベンチマークデータセットの実験により、MEDNは動作と感情の特徴を効果的に分離し、優れた認識性能を達成することが検証された。
  論文  参考訳（メタデータ） (2026-04-20T07:19:20Z)
• MEDTalk: Multimodal Controlled 3D Facial Animation with Dynamic Emotions by Disentangled Embedding [48.54455964043634]
  MEDTalkは、きめ細かなダイナミックな会話ヘッド生成のための新しいフレームワークである。 音声と音声のテキストを統合し、フレームワイドの強度変化を予測し、静的な感情特徴を動的に調整し、リアルな感情表現を生成する。 生成した結果は、産業生産パイプラインに便利に統合できます。
  論文  参考訳（メタデータ） (2025-07-08T15:14:27Z)
• Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
  DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。 我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。 次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。 第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
  論文  参考訳（メタデータ） (2025-04-25T05:28:21Z)
• Controllable Expressive 3D Facial Animation via Diffusion in a Unified Multimodal Space [7.165879904419689]
  本稿では,表現可能な3次元顔アニメーションのための拡散型フレームワークを提案する。 本手法では,(1)FLAME中心のマルチモーダル感情結合戦略,(2)注意に基づく潜在拡散モデルを提案する。 本手法は, 生理学的に妥当な顔面動態を保ちながら, 21.6%の感情類似性向上を実現している。
  論文  参考訳（メタデータ） (2025-04-14T01:38:01Z)
• MoEE: Mixture of Emotion Experts for Audio-Driven Portrait Animation [39.30784838378127]
  音声アバターの生成は、正確な音声同期において大きな進歩を遂げた。 現在の手法は、単一の基本的な感情表現をモデル化するフレームワークの欠如など、基本的な課題に直面している。 本研究では,6つの基本的な感情を分離し,特異な感情状態と複合的な感情状態の両方を正確に合成する混合感情エキスパートモデルを提案する。 DH-FaceEmoVid-150データセットと組み合わせて、複雑な感情表現とニュアンスのある顔の詳細を生成するのにMoEEフレームワークが優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-03T13:43:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。