論文の概要: Learning to Generate Customized Dynamic 3D Facial Expressions
- arxiv url: http://arxiv.org/abs/2007.09805v2
- Date: Tue, 21 Jul 2020 16:18:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 00:34:37.609248
- Title: Learning to Generate Customized Dynamic 3D Facial Expressions
- Title(参考訳): 動的3次元顔表情をカスタマイズする学習
- Authors: Rolandos Alexandros Potamias, Jiali Zheng, Stylianos Ploumpis, Giorgos
Bouritsas, Evangelos Ververas, Stefanos Zafeiriou
- Abstract要約: 本研究では,4次元表情に着目した3次元画像から映像への翻訳について検討した。
我々は、現実的な高解像度の表情を合成するために、アーキテクチャのようなディープメッシュデコーダを用いる。
我々は180名の被験者から6つの表情の4Dスキャンによる高分解能データセットを用いてモデルを訓練した。
- 参考スコア(独自算出の注目度): 47.5220752079009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in deep learning have significantly pushed the
state-of-the-art in photorealistic video animation given a single image. In
this paper, we extrapolate those advances to the 3D domain, by studying 3D
image-to-video translation with a particular focus on 4D facial expressions.
Although 3D facial generative models have been widely explored during the past
years, 4D animation remains relatively unexplored. To this end, in this study
we employ a deep mesh encoder-decoder like architecture to synthesize realistic
high resolution facial expressions by using a single neutral frame along with
an expression identification. In addition, processing 3D meshes remains a
non-trivial task compared to data that live on grid-like structures, such as
images. Given the recent progress in mesh processing with graph convolutions,
we make use of a recently introduced learnable operator which acts directly on
the mesh structure by taking advantage of local vertex orderings. In order to
generalize to 4D facial expressions across subjects, we trained our model using
a high resolution dataset with 4D scans of six facial expressions from 180
subjects. Experimental results demonstrate that our approach preserves the
subject's identity information even for unseen subjects and generates high
quality expressions. To the best of our knowledge, this is the first study
tackling the problem of 4D facial expression synthesis.
- Abstract(参考訳): 深層学習の最近の進歩は、単一の画像が与えられた写真リアリスティックビデオアニメーションの最先端を著しく押し上げている。
本稿では,4次元表情に焦点をあてた3次元画像からビデオへの翻訳について検討し,その進歩を3次元領域に推定する。
3次元顔生成モデルは近年広く研究されているが、4次元アニメーションはいまだに研究されていない。
そこで本研究では,1つの中性フレームと表現識別を併用して,階層型エンコーダ・デコーダのようなアーキテクチャを用いて,現実的な高解像度表情を合成する。
さらに、3dメッシュの処理は、画像のようなグリッドのような構造にあるデータに比べれば、ささいな作業である。
グラフ畳み込みによるメッシュ処理の最近の進歩を踏まえ、我々は最近導入された学習可能な演算子を利用して、局所頂点順序を生かしてメッシュ構造に直接作用する。
対象者間の4d表情を一般化するために,180名から6名の表情を4dスキャンした高解像度データセットを用いてモデルを訓練した。
実験の結果, 被験者の身元情報を未知の被験者でも保存し, 高品質な表現を生成できることがわかった。
我々の知る限りでは、これが4次元表情合成の問題に取り組む最初の研究である。
関連論文リスト
- 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。
提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
論文 参考訳(メタデータ) (2024-03-14T14:31:22Z) - 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [126.75952654863667]
この4DGenは、4Dコンテンツ作成のための新しいフレームワークである。
静的な3Dアセットとモノクロビデオシーケンスを4Dコンテンツ構築のキーコンポーネントとして同定する。
我々のパイプラインは条件付き4D生成を容易にし、ユーザーは幾何学(3Dアセット)と運動(眼球ビデオ)を指定できる。
論文 参考訳(メタデータ) (2023-12-28T18:53:39Z) - Articulated 3D Head Avatar Generation using Text-to-Image Diffusion
Models [107.84324544272481]
多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。
テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。
拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-10T19:15:32Z) - DaGAN++: Depth-Aware Generative Adversarial Network for Talking Head
Video Generation [18.511092587156657]
顔画像から高密度な3次元顔形状を学習するための新しい自己教師手法を提案する。
また,画素レベルの不確実性を学習し,幾何学習のためのより信頼性の高い剛体移動画素を知覚する戦略を提案する。
我々は,3D対応のクロスモーダル(e,外見,深度)アテンション機構を開発し,粗い方法で顔のジオメトリーを捉える。
論文 参考訳(メタデータ) (2023-05-10T14:58:33Z) - AVFace: Towards Detailed Audio-Visual 4D Face Reconstruction [33.78412925549308]
2次元画像からの3次元顔の再構成は、深さのあいまいさによる制約の少ない問題である。
両モードを組み込んだAVFaceを提案し、任意の話者の4次元顔と唇の動きを正確に再構成する。
論文 参考訳(メタデータ) (2023-04-25T19:41:10Z) - AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。
近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。
マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
論文 参考訳(メタデータ) (2022-10-12T17:59:56Z) - Generating Multiple 4D Expression Transitions by Learning Face Landmark
Trajectories [26.63401369410327]
現実の世界では、人々はより複雑な表現を示し、ある表現から別の表現に切り替える。
本稿では,異なる表現間の遷移を生成し,長さと合成された4次元表現を合成する新しいモデルを提案する。
論文 参考訳(メタデータ) (2022-07-29T19:33:56Z) - Depth-Aware Generative Adversarial Network for Talking Head Video
Generation [15.43672834991479]
トーキングヘッドビデオ生成は、所定のソース画像と駆動ビデオからそれぞれ識別情報とポーズ情報を含む合成人間の顔ビデオを作成することを目的としている。
このタスクの既存の作業は、入力画像から学んだ2次元表現(外観や動きなど)に大きく依存している。
本稿では,顔画像から高密度な3次元形状(深度)を自動的に復元する自己教師付き幾何学学習手法を提案する。
論文 参考訳(メタデータ) (2022-03-13T09:32:22Z) - 3D to 4D Facial Expressions Generation Guided by Landmarks [35.61963927340274]
1つの入力3D中性顔から動的3D (4D) 表情を生成できるか?
まず,メッシュエンコーダ・デコーダアーキテクチャ(expr-ed)を提案する。このアーキテクチャは,一連の3dランドマークを利用して,中立的な面から表現力のある3d顔を生成する。
マニホールド値のGANを用いて表情の時間的ダイナミクスをモデル化し、それを4Dに拡張する。
論文 参考訳(メタデータ) (2021-05-16T15:52:29Z) - DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。
私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。
登録された画像に対して,60fpsで3次元フローマップを生成する。
論文 参考訳(メタデータ) (2020-05-14T23:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。