論文の概要: MindFlow: Harmonizing Cognitive Semantics and Acoustic Dynamics for Facial Animation Generation in Dyadic Conversations
- arxiv url: http://arxiv.org/abs/2606.27779v1
- Date: Fri, 26 Jun 2026 07:11:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.401479
- Title: MindFlow: Harmonizing Cognitive Semantics and Acoustic Dynamics for Facial Animation Generation in Dyadic Conversations
- Title（参考訳）: MindFlow: 対話における表情生成のための認知的セマンティクスと音響ダイナミクスの調和
- Abstract要約: MindFlowは、神経科学におけるVentral-Dorsal pathwayモデルにインスパイアされたデュアルパスウェイ生成フレームワークである。
MindFlowは、最先端のベースラインに比べて、セマンティックな適切さと動きの自然さが優れている。
- 参考スコア（独自算出の注目度）: 21.920769915895878
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating lifelike facial animation for dyadic conversations requires reconciling high-level cognitive intent with precise low-level motor reflexes, yet existing methods fall short in the semantic understanding of dialogue context and in precise dynamic control. In this paper, we propose MindFlow, a dual-pathway generative framework inspired by the Ventral-Dorsal pathway model in neuroscience, which decouples generation into two collaborative streams, thereby harmonizing deep semantic reasoning with fine-grained control. In the Ventral module, we transform the conventional Sentence-Action approach into a novel Chunk-State approach that models raw acoustic streams as a context-aware, evolving emotional state chain, capturing subtle paralinguistic nuances and mid-utterance emotional shifts missed by sentence-level modeling. The Dorsal module features a conditional autoregressive flow matching network for high-fidelity facial motion, driven by high-frequency acoustic cues and modulated by emotion states, plus a Selective Acoustic Injector for adaptive audio gating to ensure robustness in talking-and-listening dynamics without interference. Extensive experiments demonstrate that MindFlow achieves superior semantic appropriateness and motion naturalness compared to state-of-the-art baselines.
- Abstract（参考訳）: 日常会話のためのライフライクな顔のアニメーションを生成するには、正確な低レベル運動反射と高レベル認知意図を一致させる必要があるが、既存の手法では会話コンテキストの意味的理解と正確な動的制御が不足している。
本稿では,神経科学におけるVentral-Dorsal pathwayモデルにインスパイアされた二重経路生成フレームワークであるMindFlowを提案する。
金星モジュールでは,従来の文文表現アプローチを,文脈認識・進化的感情状態連鎖として生音響ストリームをモデル化し,微妙なパラ言語的ニュアンスを捉え,文レベルモデリングで欠落した中間発話的感情変化を捉える,チャンク状態アプローチに変換する。
Dorsalモジュールは、高周波音響キューによって駆動され、感情状態によって変調された、高忠実な顔の動きのための条件付き自己回帰フローマッチングネットワークと、干渉のない会話とリストングのダイナミクスの堅牢性を確保するための適応型オーディオゲーティングのための選択型音響インジェクタを備える。
広範囲な実験により、MindFlowは最先端のベースラインと比較して、より優れた意味的適切性および運動自然性を達成することが示された。
関連論文リスト
- CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation [18.841894940869157]
Valence--Arousal representations for fine-fine emotion control をベースとした音声駆動型3D顔アニメーションフレームワークCETalkを提案する。
CETalkは,リップシンク精度と感情表現性の両方において,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2026-08-15T08:22:50Z) - Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation [50.411841997631484]
We present Unison, a unified framework that promote coherence across the motion, speech, and sound modalities。
We show that Unison achieves state-of-the-art performance in audio perceptual quality and cross-modal synchro。
論文 参考訳（メタデータ） (2026-05-09T06:32:54Z) - EgoMotion: Hierarchical Reasoning and Diffusion for Egocentric Vision-Language Motion Generation [74.07852250099559]
Egocentric Vision-Language (Ego-VL) モーション生成について検討する。
本課題は,1対1の視覚的観察と自然言語の指示を併用した3次元人間の動作を合成することである。
この課題に対処するために,階層型生成フレームワーク textbfEgoMotion を提案する。
論文 参考訳（メタデータ） (2026-04-21T05:31:06Z) - Cognition-Inspired Dual-Stream Semantic Enhancement for Vision-Based Dynamic Emotion Modeling [27.96408159377496]
認知にインスパイアされたデュアルストリームセマンティックエンハンスメント(DuSE)を提案する。
我々のモデルは、デュアルストリーム認知アーキテクチャをインスタンス化する。
挑戦的なインザワイルドベンチマークの実験は、認識中心のアプローチを検証する。
論文 参考訳（メタデータ） (2026-04-14T14:16:18Z) - The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning [76.96796481909581]
内部認知処理は高品質な応答の定式化に役立っている。
本稿では,音声認識と同時に潜在的思考を行うFLAIRという新しい手法を提案する。
我々のアプローチは音声対話システムとシームレスに一致している。
論文 参考訳（メタデータ） (2026-03-18T15:30:29Z) - HM-Talker: Hybrid Motion Modeling for High-Fidelity Talking Head Synthesis [90.74616208952791]
HM-Talkerは、高忠実で時間的コヒーレントな話しヘッドを生成するための新しいフレームワークである。
AUs(Action Units)は、解剖学的に定義された顔面の筋肉の動きと、音素と視覚の相違を最小限に抑える暗黙的な特徴を使用する。
論文 参考訳（メタデータ） (2025-08-14T12:01:52Z) - Think-Before-Draw: Decomposing Emotion Semantics & Fine-Grained Controllable Expressive Talking Head Generation [7.362433184546492]
コンピュータビジョンとマルチモーダル人工知能の交差点における重要な研究領域として、感情的トーキー生成が出現している。
本研究では,2つの課題に対処するThink-Before-Drawフレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-17T03:33:46Z) - Learning Frame-Wise Emotion Intensity for Audio-Driven Talking-Head Generation [59.81482518924723]
そこで本研究では,発話頭生成のための微妙なシフトを捕捉し,生成する手法を提案する。
我々は,強度レベルを正確に制御し,様々な感情を生成できる話頭フレームワークを開発した。
提案手法の有効性を実験・解析により検証した。
論文 参考訳（メタデータ） (2024-09-29T01:02:01Z) - Dyadic Interaction Modeling for Social Behavior Generation [6.626277726145613]
ダイアディックインタラクションにおける3次元顔の動きを効果的に生成するための枠組みを提案する。
私たちのフレームワークの中心は、事前トレーニングアプローチであるDydic Interaction Modeling(DIM)です。
実験は、リスナー動作の生成において、我々のフレームワークが優れていることを示す。
論文 参考訳（メタデータ） (2024-03-14T03:21:33Z) - Freeform Body Motion Generation from Speech [53.50388964591343]
音声から体の動きを生成することは、音声から体の動きへの非決定論的マッピングのために本質的に困難である。
2ストリームアーキテクチャを組み込んだ新しいフリーフォームモーション生成モデル(FreeMo)を提案する。
実験は、いくつかのベースラインに対して優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-03-04T13:03:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。