論文の概要: PERSE: Personalized 3D Generative Avatars from A Single Portrait

• arxiv url: http://arxiv.org/abs/2412.21206v1
• Date: Mon, 30 Dec 2024 18:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:05:55.012501
• Title: PERSE: Personalized 3D Generative Avatars from A Single Portrait
• Title（参考訳）: PERSE:1枚のポートレートから3D生成アバターをパーソナライズ
• Authors: Hyunsoo Cha, Inhee Lee, Hanbyul Joo,
• Abstract要約: PERSEは、参照ポートレートからアニマタブルなパーソナライズされた生成アバターを構築する方法である。 提案手法は,大規模合成2Dビデオデータセットの合成から始まる。 顔属性を編集した高品質なフォトリアリスティックな2Dビデオを生成するための新しいパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 7.890834685325639
• License:
• Abstract: We present PERSE, a method for building an animatable personalized generative avatar from a reference portrait. Our avatar model enables facial attribute editing in a continuous and disentangled latent space to control each facial attribute, while preserving the individual's identity. To achieve this, our method begins by synthesizing large-scale synthetic 2D video datasets, where each video contains consistent changes in the facial expression and viewpoint, combined with a variation in a specific facial attribute from the original input. We propose a novel pipeline to produce high-quality, photorealistic 2D videos with facial attribute editing. Leveraging this synthetic attribute dataset, we present a personalized avatar creation method based on the 3D Gaussian Splatting, learning a continuous and disentangled latent space for intuitive facial attribute manipulation. To enforce smooth transitions in this latent space, we introduce a latent space regularization technique by using interpolated 2D faces as supervision. Compared to previous approaches, we demonstrate that PERSE generates high-quality avatars with interpolated attributes while preserving identity of reference person.
• Abstract（参考訳）: 本稿では,参照ポートレートからアニメーション化されたパーソナライズされた生成アバターを構築するためのPERSEを提案する。 当社のアバターモデルでは, 顔属性を連続的かつ不整合な潜在空間で編集し, 個々の顔属性を制御し, 人物の身元を保存できる。 そこで本手法は,顔の表情や視点に一貫した変化を含む大規模な合成2Dビデオデータセットを合成し,元の入力からの特定の顔属性の変化と組み合わせることから始める。 顔属性を編集した高品質なフォトリアリスティックな2Dビデオを生成するための新しいパイプラインを提案する。 この合成属性データセットを活用することで,3次元ガウススプラッティングに基づくアバター生成法を提案し,顔属性の直感的な操作を行うために,連続的かつ非絡み合った潜在空間を学習する。 この潜伏空間におけるスムーズな遷移を強制するために、補間された2次元面を監督として利用することにより、潜伏空間の正規化手法を導入する。 従来の手法と比較して,PERSEは参照者の同一性を保ちながら補間属性を持つ高品質なアバターを生成することを示した。

関連論文リスト

• Arc2Avatar: Generating Expressive 3D Avatars from a Single Image via ID Guidance [69.9745497000557]
  本稿では,人間の顔の基盤モデルを用いた最初のSDSベースの手法であるArc2Avatarについて述べる。 我々のアバターは人間の顔メッシュテンプレートとの密接な対応を維持しており、ブレンドシェープによる表現生成を可能にしている。
  論文  参考訳（メタデータ） (2025-01-09T17:04:33Z)
• FreeAvatar: Robust 3D Facial Animation Transfer by Learning an Expression Foundation Model [45.0201701977516]
  ビデオ駆動の3D顔アニメーション転送は、アクターの表情を再現するためにアバターを駆動することを目的としている。 我々は,学習した表現のみに依存する,堅牢な顔アニメーショントランスファー手法であるFreeAvatarを提案する。
  論文  参考訳（メタデータ） (2024-09-20T03:17:01Z)
• DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
  顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
  論文  参考訳（メタデータ） (2024-08-20T06:52:03Z)
• PEGASUS: Personalized Generative 3D Avatars with Composable Attributes [9.493003322829718]
  本稿では,モノクロ映像からパーソナライズされた3次元顔アバターを構築する方法を提案する。 提案手法は,合成データベース生成とパーソナライズされた生成アバターの構築の2段階からなる。
  論文  参考訳（メタデータ） (2024-02-16T12:35:35Z)
• AttriHuman-3D: Editable 3D Human Avatar Generation with Attribute Decomposition and Indexing [79.38471599977011]
  編集可能な3次元人体生成モデルであるAttriHuman-3Dを提案する。 属性空間全体のすべての属性を生成し、6つの特徴平面を分解し、異なる属性インデックスで操作する。 我々のモデルは、異なる属性間の強い絡み合いを提供し、きめ細かい画像編集を可能にし、高品質な3Dアバターを生成する。
  論文  参考訳（メタデータ） (2023-12-03T03:20:10Z)
• GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
  そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。 3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
  論文  参考訳（メタデータ） (2023-11-22T19:13:00Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• 3D Cartoon Face Generation with Controllable Expressions from a Single GAN Image [142.047662926209]
  我々は、単一の2D GAN生成人間の顔から3次元マンガの顔形状を生成する。 我々は3次元マンガの顔の形状を再構築できるように、ポーズや照明の異なる画像を生成するために潜時符号を操作する。
  論文  参考訳（メタデータ） (2022-07-29T01:06:21Z)
• 3D GAN Inversion for Controllable Portrait Image Animation [45.55581298551192]
  我々は新たに開発された3D GANを活用し、マルチビュー一貫性のある画像対象のポーズを明示的に制御できる。 ポートレート・イメージ・アニメーションの手法は、画像の品質、アイデンティティの保存、ポーズ・トランスファーの点で、従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-03-25T04:06:06Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。