Fugu-MT 論文翻訳(概要): 3D to 4D Facial Expressions Generation Guided by Landmarks

論文の概要: 3D to 4D Facial Expressions Generation Guided by Landmarks

arxiv url: http://arxiv.org/abs/2105.07463v1
Date: Sun, 16 May 2021 15:52:29 GMT
ステータス: 処理完了
システム内更新日: 2021-05-19 05:52:16.015778
Title: 3D to 4D Facial Expressions Generation Guided by Landmarks
Title（参考訳）: ランドマークによる3次元から4次元の表情生成
Authors: Naima Otberdout, Claudio Ferrari, Mohamed Daoudi, Stefano Berretti, Alberto Del Bimbo
Abstract要約: 1つの入力3D中性顔から動的3D (4D) 表情を生成できるか? まず,メッシュエンコーダ・デコーダアーキテクチャ(expr-ed)を提案する。このアーキテクチャは,一連の3dランドマークを利用して,中立的な面から表現力のある3d顔を生成する。マニホールド値のGANを用いて表情の時間的ダイナミクスをモデル化し、それを4Dに拡張する。
参考スコア（独自算出の注目度）: 35.61963927340274
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While deep learning-based 3D face generation has made a progress recently, the problem of dynamic 3D (4D) facial expression synthesis is less investigated. In this paper, we propose a novel solution to the following question: given one input 3D neutral face, can we generate dynamic 3D (4D) facial expressions from it? To tackle this problem, we first propose a mesh encoder-decoder architecture (Expr-ED) that exploits a set of 3D landmarks to generate an expressive 3D face from its neutral counterpart. Then, we extend it to 4D by modeling the temporal dynamics of facial expressions using a manifold-valued GAN capable of generating a sequence of 3D landmarks from an expression label (Motion3DGAN). The generated landmarks are fed into the mesh encoder-decoder, ultimately producing a sequence of 3D expressive faces. By decoupling the two steps, we separately address the non-linearity induced by the mesh deformation and motion dynamics. The experimental results on the CoMA dataset show that our mesh encoder-decoder guided by landmarks brings a significant improvement with respect to other landmark-based 3D fitting approaches, and that we can generate high quality dynamic facial expressions. This framework further enables the 3D expression intensity to be continuously adapted from low to high intensity. Finally, we show our framework can be applied to other tasks, such as 2D-3D facial expression transfer.
Abstract（参考訳）: 近年,深層学習に基づく3D顔生成が進展しているが,動的3D (4D)表情合成の問題点は少ない。本稿では,1つの入力3Dニュートラル顔から動的3D (4D) 表情を生成できるかという問題に対して,新しい解法を提案する。この問題に対処するために,まず,メッシュエンコーダ・デコーダアーキテクチャ(expr-ed)を提案する。そして,表現ラベル(Motion3DGAN)から3Dランドマークのシーケンスを生成することができる多様体値GANを用いて,表情の時間ダイナミクスをモデル化し,これを4Dに拡張する。生成されたランドマークはメッシュエンコーダデコーダに入力され、最終的に3D表現顔のシーケンスを生成する。 2つのステップを分離することで、メッシュ変形と運動ダイナミクスによって引き起こされる非線形性に別々に対処できる。 CoMAデータセットの実験結果は、ランドマークでガイドされたメッシュエンコーダデコーダが、他のランドマークベースの3Dフィッティングアプローチに対して大幅に改善され、高品質な動的表情を生成することができることを示している。この枠組みにより、3D表現強度を低強度から高強度に連続的に適応させることができる。最後に,2D-3Dの表情伝達など他のタスクにも適用可能であることを示す。

関連論文リスト

DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
論文参考訳（メタデータ） (2024-10-09T10:41:08Z)
AnimateMe: 4D Facial Expressions via Diffusion Models [72.63383191654357]
拡散モデルの最近の進歩により、2次元アニメーションにおける生成モデルの能力が向上した。グラフニューラルネットワーク(GNN)は,メッシュ空間上で直接拡散過程を定式化し,新しい手法で拡散モデルを記述する。これにより、メッシュ拡散モデルによる顔の変形の発生が容易になる。
論文参考訳（メタデータ） (2024-03-25T21:40:44Z)
LN3Diff: Scalable Latent Neural Fields Diffusion for Speedy 3D Generation [73.36690511083894]
本稿では,LN3Diffと呼ばれる新しいフレームワークを導入し,統一された3次元拡散パイプラインに対処する。提案手法では,3次元アーキテクチャと変分オートエンコーダを用いて,入力画像を構造化されたコンパクトな3次元潜在空間に符号化する。 3次元生成のためのShapeNetの最先端性能を実現し,モノクロ3次元再構成と条件付き3次元生成において優れた性能を示す。
論文参考訳（メタデータ） (2024-03-18T17:54:34Z)
4D Facial Expression Diffusion Model [3.507793603897647]
本稿では,3次元表情系列を生成するための生成フレームワークを提案する。これは、一連の3Dランドマークシーケンスでトレーニングされた生成モデルを学ぶことと、生成されたランドマークシーケンスによって駆動される入力された顔メッシュの3Dメッシュシーケンスを生成することの2つのタスクで構成されている。実験により,本モデルは比較的小さなデータセットからのみ,現実的で質の高い表現を生成することができ,最先端の手法よりも改善されていることがわかった。
論文参考訳（メタデータ） (2023-03-29T11:50:21Z)
Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文参考訳（メタデータ） (2022-12-14T18:49:50Z)
CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
論文参考訳（メタデータ） (2022-11-23T19:02:50Z)
Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文参考訳（メタデータ） (2022-11-21T06:40:46Z)
Controllable Radiance Fields for Dynamic Face Synthesis [125.48602100893845]
非剛性運動を示す顔力学の生成モデル合成を明示的に制御する方法について検討する。制御可能な放射場(CoRF) 頭部画像・映像データから,CoRFは3次元認識可能であり,識別,視聴方向,動きの編集が可能であることを示す。
論文参考訳（メタデータ） (2022-10-11T23:17:31Z)
Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
論文参考訳（メタデータ） (2022-08-30T13:40:48Z)
Generating Multiple 4D Expression Transitions by Learning Face Landmark Trajectories [26.63401369410327]
現実の世界では、人々はより複雑な表現を示し、ある表現から別の表現に切り替える。本稿では,異なる表現間の遷移を生成し,長さと合成された4次元表現を合成する新しいモデルを提案する。
論文参考訳（メタデータ） (2022-07-29T19:33:56Z)
Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [40.2714783162419]
生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。中心となるのは条件付き生成活動場(cGOF)で、生成された顔の形状を効果的に強制し、与えられた3Dモルファブルモデル(3DMM)メッシュにコミットする。実験により,高忠実度顔画像の生成が可能な提案手法の有効性が検証された。
論文参考訳（メタデータ） (2022-06-16T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。