論文の概要: 3DFacePolicy: Audio-Driven 3D Facial Animation Based on Action Control

• arxiv url: http://arxiv.org/abs/2409.10848v2
• Date: Tue, 12 Aug 2025 14:24:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.123383
• Title: 3DFacePolicy: Audio-Driven 3D Facial Animation Based on Action Control
• Title（参考訳）: 3DFacePolicy:アクション制御に基づくオーディオ駆動型3D顔アニメーション
• Authors: Xuanmeng Sha, Liyun Zhang, Tomohiro Mashita, Naoya Chiba, Yuki Uranishi,
• Abstract要約: 本研究では,自然かつ連続的な顔の動きを生成する3DFacePolicyを提案する。 我々の手法は最先端の手法を大きく上回っている。 特に動的、表現的、自然に滑らかな顔のアニメーションに精通している。
• 参考スコア（独自算出の注目度）: 2.3767676641636584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-driven 3D facial animation has achieved significant progress in both research and applications. While recent baselines struggle to generate natural and continuous facial movements due to their frame-by-frame vertex generation approach, we propose 3DFacePolicy, a pioneer work that introduces a novel definition of vertex trajectory changes across consecutive frames through the concept of "action". By predicting action sequences for each vertex that encode frame-to-frame movements, we reformulate vertex generation approach into an action-based control paradigm. Specifically, we leverage a robotic control mechanism, diffusion policy, to predict action sequences conditioned on both audio and vertex states. Extensive experiments on VOCASET and BIWI datasets demonstrate that our approach significantly outperforms state-of-the-art methods and is particularly expert in dynamic, expressive and naturally smooth facial animations.
• Abstract（参考訳）: オーディオ駆動の3D顔アニメーションは、研究と応用の両方で大きな進歩を遂げている。 近年のベースラインはフレーム・バイ・フレームの頂点生成アプローチによる自然な連続的な顔の動きの生成に苦慮しているが,本研究では,連続フレーム間の頂点軌道変化の新たな定義を「アクション」という概念を通じて導入した先駆的な3DFacePolicyを提案する。 フレーム間移動を符号化する各頂点に対するアクションシーケンスを予測することにより、頂点生成アプローチをアクションベース制御パラダイムに再構成する。 具体的には、ロボット制御機構、拡散ポリシーを利用して、音声と頂点状態の両方で条件付けられたアクションシーケンスを予測する。 VOCASETとBIWIデータセットの大規模な実験により、我々のアプローチは最先端の手法を著しく上回り、特に動的、表現的、自然に滑らかな顔アニメーションに精通していることが示された。

関連論文リスト

• EmoDiffusion: Enhancing Emotional 3D Facial Animation with Latent Diffusion Models [66.67979602235015]
  エモディフュージョン(EmoDiffusion)は、音声中の様々な感情をアンタングルしてリッチな3次元の表情を生成する新しいアプローチである。 iPhone上のLiveLinkFaceを使ってアニメーション専門家の指導の下で表情をキャプチャする。
  論文  参考訳（メタデータ） (2025-03-14T02:54:22Z)
• AnimateMe: 4D Facial Expressions via Diffusion Models [72.63383191654357]
  拡散モデルの最近の進歩により、2次元アニメーションにおける生成モデルの能力が向上した。 グラフニューラルネットワーク(GNN)は,メッシュ空間上で直接拡散過程を定式化し,新しい手法で拡散モデルを記述する。 これにより、メッシュ拡散モデルによる顔の変形の発生が容易になる。
  論文  参考訳（メタデータ） (2024-03-25T21:40:44Z)
• 3DiFACE: Diffusion-based Speech-driven 3D Facial Animation and Editing [22.30870274645442]
  3DiFACEは、音声による顔のアニメーションと編集をパーソナライズする新しい方法である。 提案手法は,既存の最先端技術より優れ,忠実度と多様性が向上した音声駆動型アニメーションを実現する。
  論文  参考訳（メタデータ） (2023-12-01T19:01:05Z)
• DiffusionTalker: Personalization and Acceleration for Speech-Driven 3D Face Diffuser [12.576421368393113]
  スピーチ駆動の3D顔アニメーションは、アカデミックや業界で魅力的なタスクだ。 近年のアプローチでは、音声駆動型3次元顔アニメーションの非決定論的事実を考察し、その課題に拡散モデルを適用している。 本研究では,DiffusionTalkerを提案する。DiffusionTalkerは,3次元顔アニメーションと知識蒸留を個人化して3次元アニメーション生成を高速化する,コントラスト学習を利用する拡散型手法である。
  論文  参考訳（メタデータ） (2023-11-28T07:13:20Z)
• FaceDiffuser: Speech-Driven 3D Facial Animation Synthesis Using Diffusion [0.0]
  音声駆動型顔アニメーションを生成するための非決定論的ディープラーニングモデルFaceDiffuserを提案する。 提案手法は拡散法に基づいて,事前学習した大規模音声表現モデル HuBERT を用いて音声入力を符号化する。 また、ブレンドシェープに基づくリップキャラクタに基づく、新たな社内データセットも導入する。
  論文  参考訳（メタデータ） (2023-09-20T13:33:00Z)
• DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with Diffusion [68.85904927374165]
  拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。 拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。 最先端の手法よりもリアルな顔アニメーションを同時に実現します。
  論文  参考訳（メタデータ） (2023-08-23T04:14:55Z)
• Audio-Driven Talking Face Generation with Diverse yet Realistic Facial Animations [61.65012981435094]
  DIRFAは、異なるが現実的な顔のアニメーションを同一の駆動音声から生成できる新しい方法である。 同一音声に対して妥当な顔のアニメーションの変動に対応するため,トランスフォーマーに基づく確率的マッピングネットワークを設計する。 DIRFAは現実的な顔のアニメーションを効果的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-04-18T12:36:15Z)
• Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention [52.63080543011595]
  階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。 提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
  論文  参考訳（メタデータ） (2023-02-24T09:36:31Z)
• MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement [142.9900055577252]
  本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。 このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
  論文  参考訳（メタデータ） (2021-04-16T17:05:40Z)
• Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
  音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。 私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
  論文  参考訳（メタデータ） (2020-08-11T22:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。