論文の概要: ECHO: Dyadic 3D Facial Motion Generation with Asymmetric Deterministic Articulation and Stochastic Reaction

• arxiv url: http://arxiv.org/abs/2609.05506v1
• Date: Sat, 29 Aug 2026 01:48:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 11:00:41.686347
• Title: ECHO: Dyadic 3D Facial Motion Generation with Asymmetric Deterministic Articulation and Stochastic Reaction
• Title（参考訳）: ECHO-Dyadic 3D Facial Motion Generation with Asymmetric Deterministic Articulation and Stochastic Reaction (特集:情報科学)
• Abstract要約: 厳密なデュアルストリーム音声のみの設定下での3次元顔動作生成のためのECHOを提案する。 この非対称性に対処するため、ECHOは動きを決定論的アンカーに分解し、安定した音声関連構造をキャプチャする。 ECHOは、単一の生成プロセスにおいて、話し側の明瞭さとリスニング側のリアリズムと多様性のバランスをとる。
• 参考スコア（独自算出の注目度）: 12.994613743334218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose ECHO for dyadic 3D facial motion generation under a strict dual-stream audio-only setting, formulating the problem as an asymmetric task involving speech-constrained articulation and one-to-many listener reactions. To address this asymmetry, ECHO decomposes motion into a deterministic anchor that captures stable speech-correlated structure and a stochastic residual that models the remaining one-to-many interaction dynamics. On top of this backbone, Motion Memory acts as a training-only regularizer during brief late-stage fine-tuning to provide local priors for weakly conditioned listening windows, while semantic-group scaling controls residual injection across expression, jaw, and neck. This design balances speaking-side articulatory fidelity with listening-side realism and diversity in a single generation process. Results from unified, state-wise, and ablation evaluations show that conversational 3D motion benefits from decomposing stable and uncertain components rather than applying stochasticity uniformly. ECHO provides a practical formulation and technical basis for deployable conversational digital humans under strict audio-only conditions.
• Abstract（参考訳）: 本稿では,厳密な二重ストリーム音声のみの設定下での3次元顔の動き生成のためのECHOを提案し,音声制約のある調音と1対多のリスナー反応を含む非対称なタスクとして問題を定式化する。 この非対称性に対処するため、ECHOは動きを決定論的アンカーに分解し、安定な音声関連構造と残りの1対多相互作用のダイナミクスをモデル化する確率的残差をキャプチャする。 このバックボーンの上に、Motion Memoryは、短い後期の微調整の間、トレーニング専用レギュレータとして機能し、弱い条件のリスニングウィンドウをローカルに提供し、セマンティックグループスケーリングは、表現、顎、首間の残留注入を制御する。 この設計は、単一の生成プロセスにおいて、話し側の明瞭さとリスニング側のリアリズムと多様性のバランスをとる。 統合的, 状態的, アブレーション評価の結果, 対話型3次元運動の利点は, 確率性を均一に適用するのではなく, 安定かつ不確実な成分を分解することにあることがわかった。 ECHOは、厳密な音声のみの条件下で、対話型デジタル人間をデプロイするための実用的な定式化と技術基盤を提供する。

関連論文リスト

• Dynamic-Robust Photometric-Semantic Reconstruction for Open-Vocabulary 3D Scene Understanding [63.599342750566485]
  SPARは、潜在空間アグリゲーションの前に過渡的ダイナミックノイズを明示的に分離する新しい意味幾何学的エンコーディングアーキテクチャである。 エンド・ツー・エンドのアプローチは例外的な新規なビュー合成品質を実現し、PSNRは22.15dB、23.33dBでそれぞれ3と4の入力ビューしか与えられなかった。
  論文  参考訳（メタデータ） (2026-08-29T09:58:24Z)
• SubtleTalk: Generating Controllable Weakly-correlated Facial Dynamics for 3D Talking Heads via Residual Flow Matching [21.891013914273714]
  音声駆動型3D顔アニメーションは、現実的かつ時間的に整合した動きを音声から合成することを目的としている。 本稿では,自然かつ制御可能な顔のダイナミックスを生成するためのフレームワークであるSubtleTalkを提案する。 本手法は, 唇の正確な同期を保ちながら, 弱相関顔力学の現実性と多様性を著しく向上させる。
  論文  参考訳（メタデータ） (2026-08-03T11:28:19Z)
• NeuroSonic: Conditional Flow Matching for EEG-to-Speech Reconstruction [30.839290792276852]
  頭皮脳波検査(EEG)による連続的な音声の再構成は基本的には困難である。 脳波から音声への再構成のための条件付きフローマッチングフレームワークであるNeuroSonicを導入する。 ニューロソニックは,脳波条件下でのクリーン音声に向けて,音の破損した音の状態を伝達する決定論的確率流場を学習する。
  論文  参考訳（メタデータ） (2026-06-23T03:04:53Z)
• Synthesizing the Lombard Effect: Multi-Level Control of Speech Clarity and Vocal Effort in TTS [61.29502937013759]
  声道運動と調音疑似ラベルで訓練されたフローマッチングに基づく音声合成モデルを提案する。 提案モデルでは,声の努力や調音の連続的・不整合的な制御を実現するとともに,発話の特定のセグメントを明確にするための単語レベルの強調を可能にする。
  論文  参考訳（メタデータ） (2026-06-22T11:14:22Z)
• EmoZone-Talker: Regional Semantic Control of Audio-Driven 3DGS Talking Heads via Facial Action Units [28.454399017725006]
  EmoZone-Talkerは、音声による顔のアニメーションを構造化された時空間調整問題として再構成する新しいフレームワークである。 提案手法は,上面の精度と時間的コヒーレンスを顕著に向上させ,表現制御性とリアリズムを向上させる。
  論文  参考訳（メタデータ） (2026-06-14T15:10:05Z)
• SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models [86.19617358080016]
  Social Omniは、3つのコア次元にわたる対話性の評価を運用するベンチマークである。 Social Omniは2000の知覚サンプルと209の相互作用生成インスタンスの品質管理された診断セットを備えている。 本分析により,モデルの知覚的精度と,文脈的に適切な割り込みを生成する能力との間に顕著な疎結合が明らかとなった。
  論文  参考訳（メタデータ） (2026-03-17T17:58:44Z)
• FreeTalk: Emotional Topology-Free 3D Talking Heads [17.706608409435695]
  FreeTalkは感情調和型3Dトーキングヘッドアニメーションのための2段階フレームワークである。 ATSは音声から3次元ランドマーク変位の時間的コヒーレントなシーケンスを予測する。 Sparse-To-Meshは、本質的な表面特徴とランドマークと頂点条件を組み合わせることで、予測されたランドマークの動きをターゲットメッシュに転送する。
  論文  参考訳（メタデータ） (2026-03-16T16:38:17Z)
• HM-Talker: Hybrid Motion Modeling for High-Fidelity Talking Head Synthesis [90.74616208952791]
  HM-Talkerは、高忠実で時間的コヒーレントな話しヘッドを生成するための新しいフレームワークである。 AUs(Action Units)は、解剖学的に定義された顔面の筋肉の動きと、音素と視覚の相違を最小限に抑える暗黙的な特徴を使用する。
  論文  参考訳（メタデータ） (2025-08-14T12:01:52Z)
• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)
• Discretization and Re-synthesis: an alternative method to solve the Cocktail Party Problem [65.25725367771075]
  この研究は、初めて合成に基づくアプローチがこの問題にうまく対応できることを示した。 具体的には,離散シンボルの認識に基づく音声分離/強調モデルを提案する。 離散シンボルの入力による合成モデルを利用することで、離散シンボル列の予測後、各ターゲット音声を再合成することができる。
  論文  参考訳（メタデータ） (2021-12-17T08:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。