論文の概要: Generating Complex 4D Expression Transitions by Learning Face Landmark Trajectories

• arxiv url: http://arxiv.org/abs/2208.00050v1
• Date: Fri, 29 Jul 2022 19:33:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 13:43:06.145431
• Title: Generating Complex 4D Expression Transitions by Learning Face Landmark Trajectories
• Title（参考訳）: ランドマークの学習による複雑な4次元表現遷移の生成
• Authors: Naima Otberdout, Claudio Ferrari, Mohamed Daoudi, Stefano Berretti, Alberto Del Bimbo
• Abstract要約: 現実の世界では、人々はより複雑な表現を示し、ある表現から別の表現に切り替える。 本稿では,異なる表現間の遷移を生成し,長さと合成された4次元表現を合成する新しいモデルを提案する。
• 参考スコア（独自算出の注目度）: 26.63401369410327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we address the problem of 4D facial expressions generation. This is usually addressed by animating a neutral 3D face to reach an expression peak, and then get back to the neutral state. In the real world though, people show more complex expressions, and switch from one expression to another. We thus propose a new model that generates transitions between different expressions, and synthesizes long and composed 4D expressions. This involves three sub-problems: (i) modeling the temporal dynamics of expressions, (ii) learning transitions between them, and (iii) deforming a generic mesh. We propose to encode the temporal evolution of expressions using the motion of a set of 3D landmarks, that we learn to generate by training a manifold-valued GAN (Motion3DGAN). To allow the generation of composed expressions, this model accepts two labels encoding the starting and the ending expressions. The final sequence of meshes is generated by a Sparse2Dense mesh Decoder (S2D-Dec) that maps the landmark displacements to a dense, per-vertex displacement of a known mesh topology. By explicitly working with motion trajectories, the model is totally independent from the identity. Extensive experiments on five public datasets show that our proposed approach brings significant improvements with respect to previous solutions, while retaining good generalization to unseen data.
• Abstract（参考訳）: 本稿では,4次元表情生成の問題点について述べる。 これは通常、中性3d顔をアニメーション化して表現ピークに達し、その後中立状態に戻ることで対処される。 しかし現実の世界では、人々はより複雑な表現を示し、ある表現から別の表現に切り替える。 そこで我々は,異なる表現間の遷移を生成し,長大で構成された4次元表現を合成する新しいモデルを提案する。 これには3つのサブプロブレムが含まれる。 (i)表現の時間的ダイナミクスをモデル化すること。 (ii)それらの間の学習の遷移、 (iii)ジェネリックメッシュを変形させる。 本研究では,多様体値gan(motion3dgan)を訓練することで生成する3次元ランドマークの集合の運動を用いて,表現の時間的発展をエンコードする。 合成式の生成を可能にするため、このモデルは開始式と終了式をエンコードする2つのラベルを受け入れる。 メッシュの最終的なシーケンスは、sparse2denseメッシュデコーダ(s2d-dec)によって生成される。 動きの軌跡を明示的に扱うことにより、モデルはアイデンティティから完全に独立する。 5つの公開データセットに関する広範囲な実験により,提案手法が従来のソリューションに対して大幅な改善をもたらすと同時に,未発見のデータに対する優れた一般化が維持されることが示された。

関連論文リスト

• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• AnimateMe: 4D Facial Expressions via Diffusion Models [72.63383191654357]
  拡散モデルの最近の進歩により、2次元アニメーションにおける生成モデルの能力が向上した。 グラフニューラルネットワーク(GNN)は,メッシュ空間上で直接拡散過程を定式化し,新しい手法で拡散モデルを記述する。 これにより、メッシュ拡散モデルによる顔の変形の発生が容易になる。
  論文  参考訳（メタデータ） (2024-03-25T21:40:44Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
  Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。 グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。 時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
  論文  参考訳（メタデータ） (2024-01-12T15:05:08Z)
• 4D Facial Expression Diffusion Model [3.507793603897647]
  本稿では,3次元表情系列を生成するための生成フレームワークを提案する。 これは、一連の3Dランドマークシーケンスでトレーニングされた生成モデルを学ぶことと、生成されたランドマークシーケンスによって駆動される入力された顔メッシュの3Dメッシュシーケンスを生成することの2つのタスクで構成されている。 実験により,本モデルは比較的小さなデータセットからのみ,現実的で質の高い表現を生成することができ,最先端の手法よりも改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-03-29T11:50:21Z)
• The Florence 4D Facial Expression Dataset [0.0]
  本研究では,3次元顔モデルの動的配列からなる大規模データセットであるFlorence 4Dを提案する。 合成と実の同一性の組み合わせは、前代未聞の4D表情を示す。 このようなデータコーパスをコミュニティに公開することで、新しいアプリケーションの設計と実験が可能になると強く信じています。
  論文  参考訳（メタデータ） (2022-10-30T10:45:21Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• 3D to 4D Facial Expressions Generation Guided by Landmarks [35.61963927340274]
  1つの入力3D中性顔から動的3D (4D) 表情を生成できるか? まず,メッシュエンコーダ・デコーダアーキテクチャ(expr-ed)を提案する。このアーキテクチャは,一連の3dランドマークを利用して,中立的な面から表現力のある3d顔を生成する。 マニホールド値のGANを用いて表情の時間的ダイナミクスをモデル化し、それを4Dに拡張する。
  論文  参考訳（メタデータ） (2021-05-16T15:52:29Z)
• Learning to Generate Customized Dynamic 3D Facial Expressions [47.5220752079009]
  本研究では,4次元表情に着目した3次元画像から映像への翻訳について検討した。 我々は、現実的な高解像度の表情を合成するために、アーキテクチャのようなディープメッシュデコーダを用いる。 我々は180名の被験者から6つの表情の4Dスキャンによる高分解能データセットを用いてモデルを訓練した。
  論文  参考訳（メタデータ） (2020-07-19T22:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。