論文の概要: AnimateMe: 4D Facial Expressions via Diffusion Models

• arxiv url: http://arxiv.org/abs/2403.17213v1
• Date: Mon, 25 Mar 2024 21:40:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 19:26:23.238181
• Title: AnimateMe: 4D Facial Expressions via Diffusion Models
• Title（参考訳）: AnimateMe:拡散モデルによる4次元顔表現
• Authors: Dimitrios Gerogiannis, Foivos Paraperas Papantoniou, Rolandos Alexandros Potamias, Alexandros Lattas, Stylianos Moschoglou, Stylianos Ploumpis, Stefanos Zafeiriou,
• Abstract要約: 拡散モデルの最近の進歩により、2次元アニメーションにおける生成モデルの能力が向上した。 グラフニューラルネットワーク(GNN)は,メッシュ空間上で直接拡散過程を定式化し,新しい手法で拡散モデルを記述する。 これにより、メッシュ拡散モデルによる顔の変形の発生が容易になる。
• 参考スコア（独自算出の注目度）: 72.63383191654357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of photorealistic 3D avatar reconstruction and generation has garnered significant attention in recent years; however, animating such avatars remains challenging. Recent advances in diffusion models have notably enhanced the capabilities of generative models in 2D animation. In this work, we directly utilize these models within the 3D domain to achieve controllable and high-fidelity 4D facial animation. By integrating the strengths of diffusion processes and geometric deep learning, we employ Graph Neural Networks (GNNs) as denoising diffusion models in a novel approach, formulating the diffusion process directly on the mesh space and enabling the generation of 3D facial expressions. This facilitates the generation of facial deformations through a mesh-diffusion-based model. Additionally, to ensure temporal coherence in our animations, we propose a consistent noise sampling method. Under a series of both quantitative and qualitative experiments, we showcase that the proposed method outperforms prior work in 4D expression synthesis by generating high-fidelity extreme expressions. Furthermore, we applied our method to textured 4D facial expression generation, implementing a straightforward extension that involves training on a large-scale textured 4D facial expression database.
• Abstract（参考訳）: フォトリアリスティックな3Dアバターの再構築と生成の分野は近年注目されているが、そのようなアバターのアニメーションはいまだに困難である。 拡散モデルの最近の進歩は、2次元アニメーションにおける生成モデルの能力を顕著に強化している。 本研究では、これらのモデルを3D領域内で直接利用し、制御可能で高忠実な4D顔アニメーションを実現する。 拡散過程と幾何学的深層学習の強みを統合することにより,グラフニューラルネットワーク(GNN)を新たな拡散モデルとして,メッシュ空間上で直接拡散過程を定式化し,三次元表情の生成を可能にする。 これにより、メッシュ拡散モデルによる顔の変形の発生が容易になる。 さらに,アニメーションにおける時間的コヒーレンスを確保するため,一貫したノイズサンプリング手法を提案する。 定量的および定性的な実験のシリーズにおいて,提案手法は,高忠実度極端な表現を生成することによって,4次元表現合成における先行的な作業よりも優れていることを示す。 さらに,本手法をテクスチャ化された4次元表情生成に適用し,大規模テクスチャ化された4次元表情データベースのトレーニングを含む簡単な拡張を実装した。

関連論文リスト

• 4Diffusion: Multi-view Video Diffusion Model for 4D Generation [55.82208863521353]
  現在の4D生成法は, 高度な拡散生成モデルの助けを借りて, 有意義な有効性を実現している。 モノクロビデオから空間的・時間的に一貫した4Dコンテンツを生成することを目的とした,新しい4D生成パイプライン,すなわち4Diffusionを提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:18:39Z)
• Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
  高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。 ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。 提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
  論文  参考訳（メタデータ） (2024-05-26T17:47:34Z)
• Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed Diffusion Models [94.07744207257653]
  我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。 4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
  論文  参考訳（メタデータ） (2023-12-21T11:41:02Z)
• CAD: Photorealistic 3D Generation via Adversarial Distillation [28.07049413820128]
  本稿では,事前学習した拡散モデルを用いた3次元合成のための新しい学習パラダイムを提案する。 提案手法は,1つの画像に条件付された高忠実かつ光リアルな3Dコンテンツの生成を解放し,プロンプトを行う。
  論文  参考訳（メタデータ） (2023-12-11T18:59:58Z)
• Animate124: Animating One Image to 4D Dynamic Scene [108.17635645216214]
  Animate124は、テキストによる動作記述を通じて、単一のWildイメージを3Dビデオにアニメーションする最初の作品である。 提案手法は,既存のベースラインよりも大幅に進歩したことを示す。
  論文  参考訳（メタデータ） (2023-11-24T16:47:05Z)
• 4D Facial Expression Diffusion Model [3.507793603897647]
  本稿では,3次元表情系列を生成するための生成フレームワークを提案する。 これは、一連の3Dランドマークシーケンスでトレーニングされた生成モデルを学ぶことと、生成されたランドマークシーケンスによって駆動される入力された顔メッシュの3Dメッシュシーケンスを生成することの2つのタスクで構成されている。 実験により,本モデルは比較的小さなデータセットからのみ,現実的で質の高い表現を生成することができ,最先端の手法よりも改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-03-29T11:50:21Z)
• Learning to Generate Customized Dynamic 3D Facial Expressions [47.5220752079009]
  本研究では,4次元表情に着目した3次元画像から映像への翻訳について検討した。 我々は、現実的な高解像度の表情を合成するために、アーキテクチャのようなディープメッシュデコーダを用いる。 我々は180名の被験者から6つの表情の4Dスキャンによる高分解能データセットを用いてモデルを訓練した。
  論文  参考訳（メタデータ） (2020-07-19T22:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。