論文の概要: Learning to Generate Customized Dynamic 3D Facial Expressions
- arxiv url: http://arxiv.org/abs/2007.09805v2
- Date: Tue, 21 Jul 2020 16:18:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 00:34:37.609248
- Title: Learning to Generate Customized Dynamic 3D Facial Expressions
- Title(参考訳): 動的3次元顔表情をカスタマイズする学習
- Authors: Rolandos Alexandros Potamias, Jiali Zheng, Stylianos Ploumpis, Giorgos
Bouritsas, Evangelos Ververas, Stefanos Zafeiriou
- Abstract要約: 本研究では,4次元表情に着目した3次元画像から映像への翻訳について検討した。
我々は、現実的な高解像度の表情を合成するために、アーキテクチャのようなディープメッシュデコーダを用いる。
我々は180名の被験者から6つの表情の4Dスキャンによる高分解能データセットを用いてモデルを訓練した。
- 参考スコア(独自算出の注目度): 47.5220752079009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in deep learning have significantly pushed the
state-of-the-art in photorealistic video animation given a single image. In
this paper, we extrapolate those advances to the 3D domain, by studying 3D
image-to-video translation with a particular focus on 4D facial expressions.
Although 3D facial generative models have been widely explored during the past
years, 4D animation remains relatively unexplored. To this end, in this study
we employ a deep mesh encoder-decoder like architecture to synthesize realistic
high resolution facial expressions by using a single neutral frame along with
an expression identification. In addition, processing 3D meshes remains a
non-trivial task compared to data that live on grid-like structures, such as
images. Given the recent progress in mesh processing with graph convolutions,
we make use of a recently introduced learnable operator which acts directly on
the mesh structure by taking advantage of local vertex orderings. In order to
generalize to 4D facial expressions across subjects, we trained our model using
a high resolution dataset with 4D scans of six facial expressions from 180
subjects. Experimental results demonstrate that our approach preserves the
subject's identity information even for unseen subjects and generates high
quality expressions. To the best of our knowledge, this is the first study
tackling the problem of 4D facial expression synthesis.
- Abstract(参考訳): 深層学習の最近の進歩は、単一の画像が与えられた写真リアリスティックビデオアニメーションの最先端を著しく押し上げている。
本稿では,4次元表情に焦点をあてた3次元画像からビデオへの翻訳について検討し,その進歩を3次元領域に推定する。
3次元顔生成モデルは近年広く研究されているが、4次元アニメーションはいまだに研究されていない。
そこで本研究では,1つの中性フレームと表現識別を併用して,階層型エンコーダ・デコーダのようなアーキテクチャを用いて,現実的な高解像度表情を合成する。
さらに、3dメッシュの処理は、画像のようなグリッドのような構造にあるデータに比べれば、ささいな作業である。
グラフ畳み込みによるメッシュ処理の最近の進歩を踏まえ、我々は最近導入された学習可能な演算子を利用して、局所頂点順序を生かしてメッシュ構造に直接作用する。
対象者間の4d表情を一般化するために,180名から6名の表情を4dスキャンした高解像度データセットを用いてモデルを訓練した。
実験の結果, 被験者の身元情報を未知の被験者でも保存し, 高品質な表現を生成できることがわかった。
我々の知る限りでは、これが4次元表情合成の問題に取り組む最初の研究である。
関連論文リスト
- 4-LEGS: 4D Language Embedded Gaussian Splatting [12.699978393733309]
3次元ガウシアンティングに基づく4次元表現に時間的特徴を持ち上げる方法を示す。
これにより、ユーザはテキストプロンプトからビデオ内のイベントを時間的にローカライズすることができる。
我々は,人や動物が様々な行動を行う様子を公開3Dビデオデータセットで実演する。
論文 参考訳(メタデータ) (2024-10-14T17:00:53Z) - Segment Any 4D Gaussians [69.53172192552508]
我々は,4次元ガウスアン(SA4D)をベースとした4次元デジタル世界において,任意の4次元ガウスアン(SA4D)をセグメンテーションすることを提案する。
SA4Dは4Dガウスで数秒以内の精度で高品質なセグメンテーションを実現し、高品質なマスクを取り除き、色を変え、構成し、レンダリングする能力を示している。
論文 参考訳(メタデータ) (2024-07-05T13:44:15Z) - AnimateMe: 4D Facial Expressions via Diffusion Models [72.63383191654357]
拡散モデルの最近の進歩により、2次元アニメーションにおける生成モデルの能力が向上した。
グラフニューラルネットワーク(GNN)は,メッシュ空間上で直接拡散過程を定式化し,新しい手法で拡散モデルを記述する。
これにより、メッシュ拡散モデルによる顔の変形の発生が容易になる。
論文 参考訳(メタデータ) (2024-03-25T21:40:44Z) - Comp4D: LLM-Guided Compositional 4D Scene Generation [65.5810466788355]
合成 4D 生成のための新しいフレームワーク Comp4D について述べる。
シーン全体の特異な4D表現を生成する従来の方法とは異なり、Comp4Dはシーン内の各4Dオブジェクトを革新的に別々に構築する。
提案手法は, 予め定義された軌道で導かれる合成スコア蒸留技術を用いている。
論文 参考訳(メタデータ) (2024-03-25T17:55:52Z) - 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
この4DGenは、4Dコンテンツ作成のための新しいフレームワークである。
静的な3Dアセットとモノクロビデオシーケンスを4Dコンテンツ構築のキーコンポーネントとして同定する。
我々のパイプラインは条件付き4D生成を容易にし、ユーザーは幾何学(3Dアセット)と運動(眼球ビデオ)を指定できる。
論文 参考訳(メタデータ) (2023-12-28T18:53:39Z) - DaGAN++: Depth-Aware Generative Adversarial Network for Talking Head
Video Generation [18.511092587156657]
顔画像から高密度な3次元顔形状を学習するための新しい自己教師手法を提案する。
また,画素レベルの不確実性を学習し,幾何学習のためのより信頼性の高い剛体移動画素を知覚する戦略を提案する。
我々は,3D対応のクロスモーダル(e,外見,深度)アテンション機構を開発し,粗い方法で顔のジオメトリーを捉える。
論文 参考訳(メタデータ) (2023-05-10T14:58:33Z) - AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。
近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。
マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
論文 参考訳(メタデータ) (2022-10-12T17:59:56Z) - Generating Multiple 4D Expression Transitions by Learning Face Landmark
Trajectories [26.63401369410327]
現実の世界では、人々はより複雑な表現を示し、ある表現から別の表現に切り替える。
本稿では,異なる表現間の遷移を生成し,長さと合成された4次元表現を合成する新しいモデルを提案する。
論文 参考訳(メタデータ) (2022-07-29T19:33:56Z) - 3D to 4D Facial Expressions Generation Guided by Landmarks [35.61963927340274]
1つの入力3D中性顔から動的3D (4D) 表情を生成できるか?
まず,メッシュエンコーダ・デコーダアーキテクチャ(expr-ed)を提案する。このアーキテクチャは,一連の3dランドマークを利用して,中立的な面から表現力のある3d顔を生成する。
マニホールド値のGANを用いて表情の時間的ダイナミクスをモデル化し、それを4Dに拡張する。
論文 参考訳(メタデータ) (2021-05-16T15:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。