論文の概要: My3DGen: A Scalable Personalized 3D Generative Model
- arxiv url: http://arxiv.org/abs/2307.05468v3
- Date: Tue, 28 Nov 2023 01:45:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 03:38:23.630070
- Title: My3DGen: A Scalable Personalized 3D Generative Model
- Title(参考訳): My3DGen: スケーラブルなパーソナライズされた3D生成モデル
- Authors: Luchao Qi, Jiaye Wu, Annie N. Wang, Shengze Wang, Roni Sengupta
- Abstract要約: My3DGenは、最大50のトレーニングイメージを使用して、個人の前でパーソナライズされた3Dを生成する。
My3DGenは、新しいビューの合成、与えられた顔のセマンティックな編集、新しい外観の合成を可能にする。
- 参考スコア(独自算出の注目度): 5.302303646066552
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, generative 3D face models (e.g., EG3D) have been developed
to tackle the problem of synthesizing photo-realistic faces. However, these
models are often unable to capture facial features unique to each individual,
highlighting the importance of personalization. Some prior works have shown
promise in personalizing generative face models, but these studies primarily
focus on 2D settings. Also, these methods require both fine-tuning and storing
a large number of parameters for each user, posing a hindrance to achieving
scalable personalization. Another challenge of personalization is the limited
number of training images available for each individual, which often leads to
overfitting when using full fine-tuning methods. Our proposed approach,
My3DGen, generates a personalized 3D prior of an individual using as few as 50
training images. My3DGen allows for novel view synthesis, semantic editing of a
given face (e.g. adding a smile), and synthesizing novel appearances, all while
preserving the original person's identity. We decouple the 3D facial features
into global features and personalized features by freezing the pre-trained EG3D
and training additional personalized weights through low-rank decomposition. As
a result, My3DGen introduces only $\textbf{240K}$ personalized parameters per
individual, leading to a $\textbf{127}\times$ reduction in trainable parameters
compared to the $\textbf{30.6M}$ required for fine-tuning the entire parameter
space. Despite this significant reduction in storage, our model preserves
identity features without compromising the quality of downstream applications.
- Abstract(参考訳): 近年,フォトリアリスティック顔の合成問題に取り組むため,生成型3次元顔モデル(eg3dなど)が開発されている。
しかし、これらのモデルは個々の個人に固有の顔の特徴を捉えることができず、パーソナライゼーションの重要性を強調している。
いくつかの先行研究は、生成的顔モデルのパーソナライズを約束しているが、これらの研究は主に2D設定に焦点を当てている。
また、これらの方法では、ユーザ毎に多数のパラメータを微調整して保存する必要があるため、スケーラブルなパーソナライズを実現する上で障害となる。
パーソナライゼーションのもうひとつの課題は、個々の個人が利用可能なトレーニングイメージ数が限られていることだ。
提案手法であるmy3dgenは,50以上のトレーニング画像を用いて個人にパーソナライズされた3d画像を生成する。
My3DGenは、新しいビューの合成、特定の顔のセマンティックな編集(例えば、笑顔を追加する)、新しい外観の合成を可能にする。
我々は3D顔の特徴をグローバルな特徴とパーソナライズされた特徴に分解し、トレーニング済みのEG3Dを凍結し、低ランクの分解によってさらにパーソナライズされた重みをトレーニングする。
その結果、my3dgenは個人ごとに$\textbf{240k}$のパラメータを導入するだけで、パラメータ空間全体の微調整に必要な$\textbf{30.6m}$と比較して、トレーニング可能なパラメータの$\textbf{127}\times$が削減される。
ストレージの大幅な削減にもかかわらず、我々のモデルは下流アプリケーションの品質を損なうことなくアイデンティティ機能を保存する。
関連論文リスト
- 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。
生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
論文 参考訳(メタデータ) (2024-03-17T06:31:16Z) - GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。
3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。
この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
論文 参考訳(メタデータ) (2023-11-22T19:13:00Z) - Inserting Anybody in Diffusion Models via Celeb Basis [29.51292196851589]
本研究では,個別個人を事前学習した拡散モデルにシームレスに統合するパーソナライズ手法を提案する。
そこで我々はまず,事前学習した大文字エンコーダの埋め込み空間から,明確に定義されたセレブベースを解析・構築する。
提案したセレブベースを活用することで、カスタマイズされたモデルの新たなアイデンティティは、従来のパーソナライズ手法よりも優れた概念の組み合わせ能力を示す。
論文 参考訳(メタデータ) (2023-06-01T17:30:24Z) - AgileGAN3D: Few-Shot 3D Portrait Stylization by Augmented Transfer
Learning [80.67196184480754]
本稿では,3次元芸術的に魅力的な肖像画を詳細な幾何学で作成できる新しいフレームワークであるemphAgileGAN3Dを提案する。
新しいスタイリゼーションは、わずか (約20) の未完成の2D例で得られる。
われわれのパイプラインは、ユーザの写真を多様な3Dアートのポートレートに変える強力な能力を示している。
論文 参考訳(メタデータ) (2023-03-24T23:04:20Z) - FaceScape: 3D Facial Dataset and Benchmark for Single-View 3D Face
Reconstruction [29.920622006999732]
大規模な3次元顔データセット、FaceScape、およびそれに対応するベンチマークを提示し、単視点顔の3次元再構成を評価する。
FaceScapeデータをトレーニングすることにより、単一の画像入力から精巧な3次元顔モデルを予測する新しいアルゴリズムを提案する。
また、FaceScapeデータを用いて、最新の単一視点顔再構成手法の評価を行う。
論文 参考訳(メタデータ) (2021-11-01T16:48:34Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。
DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。
本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
論文 参考訳(メタデータ) (2020-12-07T19:30:45Z) - Personalized Face Modeling for Improved Face Reconstruction and Motion
Retargeting [22.24046752858929]
本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。
具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。
実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
論文 参考訳(メタデータ) (2020-07-14T01:30:14Z) - StyleRig: Rigging StyleGAN for 3D Control over Portrait Images [81.43265493604302]
StyleGANは、目、歯、髪、コンテキスト(首、肩、背景)のある顔の肖像画を生成する
StyleGANには、顔ポーズ、表情、シーン照明といった3Dで解釈可能なセマンティックフェイスパラメータに対するrigのようなコントロールがない。
3DMMを用いて,事前に訓練された,固定されたStyleGANに対して,顔リグライクな制御を行うための最初の方法を提案する。
論文 参考訳(メタデータ) (2020-03-31T21:20:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。