論文の概要: DiffAge3D: Diffusion-based 3D-aware Face Aging

• arxiv url: http://arxiv.org/abs/2408.15922v1
• Date: Wed, 28 Aug 2024 16:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 15:21:26.819885
• Title: DiffAge3D: Diffusion-based 3D-aware Face Aging
• Title（参考訳）: DiffAge3D:拡散型3D認識顔の老化
• Authors: Junaid Wahid, Fangneng Zhan, Pramod Rao, Christian Theobalt,
• Abstract要約: 本稿では,DiffAge3Dを提案する。DiffAge3Dは3D設定で忠実な老化とアイデンティティ保存を行う最初の3D対応高齢化フレームワークである。 我々のフレームワークは、トレーニング済みの3D GANを利用して、堅牢な3D対応老化データセット生成パイプラインを含む。 DiffAge3Dは既存の手法、特にマルチビューの老朽化や細部保存において優れることを示す。
• 参考スコア（独自算出の注目度）: 61.3027596093854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Face aging is the process of converting an individual's appearance to a younger or older version of themselves. Existing face aging techniques have been limited to 2D settings, which often weaken their applications as there is a growing demand for 3D face modeling. Moreover, existing aging methods struggle to perform faithful aging, maintain identity, and retain the fine details of the input images. Given these limitations and the need for a 3D-aware aging method, we propose DiffAge3D, the first 3D-aware aging framework that not only performs faithful aging and identity preservation but also operates in a 3D setting. Our aging framework allows to model the aging and camera pose separately by only taking a single image with a target age. Our framework includes a robust 3D-aware aging dataset generation pipeline by utilizing a pre-trained 3D GAN and the rich text embedding capabilities within CLIP model. Notably, we do not employ any inversion bottleneck in dataset generation. Instead, we randomly generate training samples from the latent space of 3D GAN, allowing us to manipulate the rich latent space of GAN to generate ages even with large gaps. With the generated dataset, we train a viewpoint-aware diffusion-based aging model to control the camera pose and facial age. Through quantitative and qualitative evaluations, we demonstrate that DiffAge3D outperforms existing methods, particularly in multiview-consistent aging and fine details preservation.
• Abstract（参考訳）: 顔の老化(英: face aging)とは、個人の外見を若いものや古いものに変換する過程である。 既存の顔の老化技術は2D設定に限られており、3D顔のモデリングへの需要が高まっているため、しばしばアプリケーションの弱体化を招いている。 さらに、既存の老化手法は、忠実な老化、アイデンティティの維持、入力画像の詳細な詳細保持に苦慮している。 DiffAge3D(DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D, DiffAge3D)を提案する。 我々の高齢化フレームワークは、ターゲット年齢の1つの画像のみを撮影することで、老化とカメラのポーズを別々にモデル化することができる。 私たちのフレームワークは、トレーニング済みの3D GANとCLIPモデルにリッチなテキスト埋め込み機能を活用することで、堅牢な3D対応老化データセット生成パイプラインを含む。 特に、データセット生成に逆ボトルネックは使用していません。 代わりに、3D GANの潜伏空間からランダムにトレーニングサンプルを生成し、GANのリッチ潜伏空間を操り、大きなギャップがあっても年齢を発生させることができる。 生成されたデータセットを用いて、カメラのポーズと顔の年齢を制御するために、視点対応拡散に基づく老化モデルを訓練する。 DiffAge3Dは,量的,質的な評価を通じて,既存の手法,特にマルチビュー一貫性の老朽化や細部保存において優れることを示す。

関連論文リスト

• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• Face Aging via Diffusion-based Editing [5.318584973533008]
  FAdingは,Diffusion-based editiNGによる顔の老化に対処するための新しいアプローチである。 我々は、大規模言語画像拡散モデルのリッチな事前利用により、既存の手法を超越する。 提案手法は, 経年的精度, 属性保存, 経年的品質に関して, 既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-20T13:47:10Z)
• A Generative Framework for Self-Supervised Facial Representation Learning [18.094262972295702]
  自己教師付き表現学習は、ペア化されたデータセットに頼ることなく、強力な一般化能力に注目されるようになった。 自己監督型顔表現学習は、顔のアイデンティティ、表情、ポーズや光といった外部要因の結合により未解決のままである。 自己教師型顔表現のための新しい生成フレームワークであるLatentFaceを提案する。
  論文  参考訳（メタデータ） (2023-09-15T09:34:05Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images [47.18219551855583]
  そこで本研究では,フォトリアリスティックな回転面を合成可能な,教師なしのフレームワークを提案する。 私たちの重要な洞察は、3D空間の顔を前後に回転させ、2D平面に再レンダリングすることで、強力な自己スーパービジョンとして機能するということです。 我々の手法は、最先端の手法よりも優れた合成品質とアイデンティティの保存性を有する。
  論文  参考訳（メタデータ） (2020-03-18T09:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。