論文の概要: AU-Blendshape for Fine-grained Stylized 3D Facial Expression Manipulation
- arxiv url: http://arxiv.org/abs/2507.12001v1
- Date: Wed, 16 Jul 2025 07:56:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-17 19:00:11.287333
- Title: AU-Blendshape for Fine-grained Stylized 3D Facial Expression Manipulation
- Title（参考訳）: きめ細粒化3次元顔表情操作のためのAU-Blendshape
- Authors: Hao Li, Ju Dai, Feng Zhou, Kaida Ning, Lei Li, Junjun Pan,
- Abstract要約: AUBlendSet(AU-Blendshape表現に基づく3次元顔データセット)を導入し、身元を横断するきめ細かな表情操作を行う。
AUBlendSetに基づいてAUBlendNetを提案し,AU-Blendshape基底ベクトルを異なる文字スタイルで学習する。
AUBlendNetは、与えられたアイデンティティメッシュに対応するスタイルのAU-Blendshapeベースベクトルを並行して予測し、スタイリングされた3次元の感情的な顔操作を実現する。
- 参考スコア（独自算出の注目度）: 16.654881235221673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While 3D facial animation has made impressive progress, challenges still exist in realizing fine-grained stylized 3D facial expression manipulation due to the lack of appropriate datasets. In this paper, we introduce the AUBlendSet, a 3D facial dataset based on AU-Blendshape representation for fine-grained facial expression manipulation across identities. AUBlendSet is a blendshape data collection based on 32 standard facial action units (AUs) across 500 identities, along with an additional set of facial postures annotated with detailed AUs. Based on AUBlendSet, we propose AUBlendNet to learn AU-Blendshape basis vectors for different character styles. AUBlendNet predicts, in parallel, the AU-Blendshape basis vectors of the corresponding style for a given identity mesh, thereby achieving stylized 3D emotional facial manipulation. We comprehensively validate the effectiveness of AUBlendSet and AUBlendNet through tasks such as stylized facial expression manipulation, speech-driven emotional facial animation, and emotion recognition data augmentation. Through a series of qualitative and quantitative experiments, we demonstrate the potential and importance of AUBlendSet and AUBlendNet in 3D facial animation tasks. To the best of our knowledge, AUBlendSet is the first dataset, and AUBlendNet is the first network for continuous 3D facial expression manipulation for any identity through facial AUs. Our source code is available at https://github.com/wslh852/AUBlendNet.git.
- Abstract（参考訳）: 3D顔のアニメーションは目覚ましい進歩を遂げているが、適切なデータセットがないため、きめ細かいスタイリングされた3D顔の表情操作を実現することにはまだ課題がある。
本稿では,AU-Blendshape表現をベースとした3次元顔データセットであるAUBlendSetを紹介する。
AUBlendSetは、500のアイデンティティにまたがる32の標準的な顔アクションユニット(AU)に基づくブレンドシェープデータコレクションである。
AUBlendSetに基づいてAUBlendNetを提案し,AU-Blendshape基底ベクトルを異なる文字スタイルで学習する。
AUBlendNetは、与えられたアイデンティティメッシュに対応するスタイルのAU-Blendshapeベースベクトルを並行して予測し、スタイリングされた3次元の感情的な顔操作を実現する。
我々は,AUBlendSetとAUBlendNetの有効性を,スタイリングされた表情操作,音声駆動型表情アニメーション,感情認識データ拡張などのタスクを通じて包括的に検証する。
AUBlendSetとAUBlendNetの3次元顔アニメーションにおける可能性と重要性を示す。
私たちの知る限りでは、AUBlendSetは最初のデータセットであり、AUBlendNetは顔AUを通してあらゆるアイデンティティーに対して連続的な3D表情操作を行う最初のネットワークである。
ソースコードはhttps://github.com/wslh852/AUBlendNet.gitで公開されています。
関連論文リスト
- ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。
前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
論文 参考訳（メタデータ） (2024-05-26T13:36:45Z) - FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
拡散型3次元顔アバター生成モデルFitDiffを提案する。
本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。
FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
論文 参考訳（メタデータ） (2023-12-07T17:35:49Z) - FaceDiffuser: Speech-Driven 3D Facial Animation Synthesis Using
Diffusion [0.0]
音声駆動型顔アニメーションを生成するための非決定論的ディープラーニングモデルFaceDiffuserを提案する。
提案手法は拡散法に基づいて,事前学習した大規模音声表現モデル HuBERT を用いて音声入力を符号化する。
また、ブレンドシェープに基づくリップキャラクタに基づく、新たな社内データセットも導入する。
論文 参考訳（メタデータ） (2023-09-20T13:33:00Z) - A Generative Framework for Self-Supervised Facial Representation Learning [18.094262972295702]
自己教師付き表現学習は、ペア化されたデータセットに頼ることなく、強力な一般化能力に注目されるようになった。
自己監督型顔表現学習は、顔のアイデンティティ、表情、ポーズや光といった外部要因の結合により未解決のままである。
自己教師型顔表現のための新しい生成フレームワークであるLatentFaceを提案する。
論文 参考訳（メタデータ） (2023-09-15T09:34:05Z) - DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with
Diffusion [68.85904927374165]
拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。
拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。
最先端の手法よりもリアルな顔アニメーションを同時に実現します。
論文 参考訳（メタデータ） (2023-08-23T04:14:55Z) - 4D Facial Expression Diffusion Model [3.507793603897647]
本稿では,3次元表情系列を生成するための生成フレームワークを提案する。
これは、一連の3Dランドマークシーケンスでトレーニングされた生成モデルを学ぶことと、生成されたランドマークシーケンスによって駆動される入力された顔メッシュの3Dメッシュシーケンスを生成することの2つのタスクで構成されている。
実験により,本モデルは比較的小さなデータセットからのみ,現実的で質の高い表現を生成することができ,最先端の手法よりも改善されていることがわかった。
論文 参考訳（メタデータ） (2023-03-29T11:50:21Z) - Controllable 3D Generative Adversarial Face Model via Disentangling
Shape and Appearance [63.13801759915835]
3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。
本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
論文 参考訳（メタデータ） (2022-08-30T13:40:48Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T03:10:17Z) - Face-GCN: A Graph Convolutional Network for 3D Dynamic Face
Identification/Recognition [21.116748155592752]
顔のキーポイントに基づく動的3次元顔認識のための新しいフレームワークを提案する。
表情の動的列は時間グラフとして表現され、3次元の顔のランドマークを用いて構築される。
我々は,動的3次元表情データセットに対するアプローチを評価する。
論文 参考訳（メタデータ） (2021-04-19T09:05:39Z) - Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。
DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。
本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
論文 参考訳（メタデータ） (2020-12-07T19:30:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。