論文の概要: Seeing Speech: Learning Visible Articulatory Dynamics for Speech-Driven 3D Facial Animation
- arxiv url: http://arxiv.org/abs/2609.30517v1
- Date: Thu, 24 Sep 2026 20:12:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.132099
- Title: Seeing Speech: Learning Visible Articulatory Dynamics for Speech-Driven 3D Facial Animation
- Title（参考訳）: 音声を見る: 音声駆動型3次元顔アニメーションのための可視的調音ダイナミクスの学習
- Abstract要約: 音声-調音記憶(SAM)は、音声環境下での音声とこれらの動きの対応をキャプチャする。
Topology-Aware Articulatory Composition (TAC)は、メッシュトポロジーの下で予測される方向の関節運動を統合し、表面一貫性のある3D顔の動きを生成する。
- 参考スコア（独自算出の注目度）: 5.4007648253319305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in speech-driven 3D facial animation has improved vertex-level reconstruction quality, but speech-consistent visible articulation remains difficult. This is because speech production follows structured and constrained articulators' coordination and the mapping from acoustics to motion is inherently one-to-many. Motivated by the structured patterns of visible articulation, we propose a novel articulation-aware framework that models visible speech through directional articulatory motions and composes them into surface-consistent 3D facial motion. To represent visible articulation with three directional articulatory motions, spreading, opening, and protrusion, we propose a Speech--Articulatory Memory (SAM) that captures the correspondence between speech and these motions under phonetic context through retrieval and decoding based on a key-value memory structure. Then, a Topology-aware Articulatory Composition (TAC) integrates the predicted directional articulatory motions under mesh topology to produce surface-consistent 3D facial motion. Experiments on VOCASET and TFHP show that our method achieves state-of-the-art performance on standard reconstruction metrics and improves visible articulatory distance and velocity errors for lip articulation, while a user study confirms clear preference in lip sync and realism.
- Abstract（参考訳）: 音声駆動型3次元顔画像の最近の進歩により頂点レベルの再現性は向上したが、音声に一貫性のある可視的調音は依然として困難である。
これは、音声生成が構造的・制約的調律の調整に従うためであり、音響から運動へのマッピングは本質的に1対多である。
視覚的調音の構造化パターンに触発され, 指向性調音運動を通して可視音声をモデル化し, 表面一貫性のある3次元顔の動きに合成する新しい調音認識フレームワークを提案する。
本稿では,3方向の調音運動,展開,開放,進行を伴う可視的調音を表現するために,キー-値メモリ構造に基づく検索と復号化により,音声とこれらの動きの対応を音韻文脈下で捉える音声-調音メモリ(SAM)を提案する。
次に、メッシュトポロジ下で予測された指向性調音運動を統合して、表面一貫性のある3次元顔の動きを生成する。
VOCASET と TFHP を用いた実験により,本手法は標準的な再建指標の最先端性能を達成し,口唇音節の可視音程距離と速度誤差を改善するとともに,口唇のシンクやリアリズムの明確な嗜好をユーザスタディで確認した。
関連論文リスト
- ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance [50.482989497576476]
音声による会話キャラクタアニメーションは、自然な会話行動を伝えるライフライクなポートレートビデオを生成する。
既存のアプローチは通常、動的表情や頭部の動きに対して正確な音素間同期をオフにする。
本稿では,事前学習したビデオ生成モデルに基づく,フローマッチング型音声-画像間アニメーションフレームワークReFree-S2Vを提案する。
論文 参考訳（メタデータ） (2026-06-11T13:00:58Z) - MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。
既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。
MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T18:59:51Z) - Learning Phonetic Context-Dependent Viseme for Enhancing Speech-Driven 3D Facial Animation [8.75374562753977]
音声駆動型3D顔アニメーションは、音声と同期した現実的な顔の動きを生成することを目的としている。
従来の手法では、各フレームを接地構造に合わせることで、復元損失を最小化していた。
本稿では,音韻遷移に対する音韻文脈の影響を明示的にモデル化した新しい音韻文脈認識損失を提案する。
論文 参考訳（メタデータ） (2025-07-28T07:04:50Z) - KMTalk: Speech-Driven 3D Facial Animation with Key Motion Embedding [19.15471840100407]
キーモーション埋め込みを用いた音声系列から3次元顔の動きを合成する新しい手法を提案する。
本手法は,言語に基づくキーモーション獲得とモーダル間動作完了の2つのモジュールを通じて,言語的およびデータ駆動の先行情報を統合する。
後者は、キーモーションを音声機能によって案内される3D音声のフルシーケンスに拡張し、時間的コヒーレンスとオーディオ-視覚的整合性を改善する。
論文 参考訳（メタデータ） (2024-09-02T09:41:24Z) - Speech2Lip: High-fidelity Speech to Lip Generation by Learning from a
Short Video [91.92782707888618]
本稿では,音声の知覚と音声の知覚を両立させるSpeech2Lip(Speech2Lip)という分解合成フレームワークを提案する。
提案手法は,数分間のビデオで学習し,視覚的品質と音声・視覚的同期の両面において最先端のパフォーマンスを達成可能であることを示す。
論文 参考訳（メタデータ） (2023-09-09T14:52:39Z) - DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with
Diffusion [68.85904927374165]
拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。
拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。
最先端の手法よりもリアルな顔アニメーションを同時に実現します。
論文 参考訳（メタデータ） (2023-08-23T04:14:55Z) - Pose-Controllable 3D Facial Animation Synthesis using Hierarchical
Audio-Vertex Attention [52.63080543011595]
階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。
提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
論文 参考訳（メタデータ） (2023-02-24T09:36:31Z) - A Novel Speech-Driven Lip-Sync Model with CNN and LSTM [12.747541089354538]
可変長音声入力から3次元テンプレート顔モデルの変位を生成するために,一次元畳み込みとLSTMを組み合わせたディープニューラルネットワークを提案する。
異なる音声信号に対するネットワークのロバスト性を高めるために,訓練された音声認識モデルを適用して音声特徴を抽出する。
本モデルでは, 音声に同期したスムーズで自然な唇の動きを生成できることが示されている。
論文 参考訳（メタデータ） (2022-05-02T13:57:50Z) - Learning Speech-driven 3D Conversational Gestures from Video [106.15628979352738]
同期3D対話体と手のジェスチャーの両方を自動的に共同合成する最初のアプローチを提案します。
本アルゴリズムは,表情と手のジェスチャーの固有相関を利用したcnnアーキテクチャを用いる。
われわれはまた、33時間以上の注釈付きボディ、手、顔データからなる大きなコーパスを作成する新しい方法にも貢献する。
論文 参考訳（メタデータ） (2021-02-13T01:05:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。