論文の概要: My3DGen: Building Lightweight Personalized 3D Generative Model
- arxiv url: http://arxiv.org/abs/2307.05468v1
- Date: Tue, 11 Jul 2023 17:53:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 13:46:56.644060
- Title: My3DGen: Building Lightweight Personalized 3D Generative Model
- Title(参考訳): My3DGen:軽量パーソナライズされた3D生成モデルの構築
- Authors: Luchao Qi, Jiaye Wu, Shengze Wang, Soumyadip Sengupta
- Abstract要約: My3DGenは、パーソナライズされた軽量な3D生成システムで、わずか10枚の画像を使用する。
本システムは,生成した3次元面の品質を犠牲にすることなく,50倍のモデルサイズ削減を実現する。
- 参考スコア(独自算出の注目度): 12.731232535766784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Our paper presents My3DGen, a practical system for creating a personalized
and lightweight 3D generative prior using as few as 10 images. My3DGen can
reconstruct multi-view consistent images from an input test image, and generate
novel appearances by interpolating between any two images of the same
individual. While recent studies have demonstrated the effectiveness of
personalized generative priors in producing high-quality 2D portrait
reconstructions and syntheses, to the best of our knowledge, we are the first
to develop a personalized 3D generative prior. Instead of fine-tuning a large
pre-trained generative model with millions of parameters to achieve
personalization, we propose a parameter-efficient approach. Our method involves
utilizing a pre-trained model with fixed weights as a generic prior, while
training a separate personalized prior through low-rank decomposition of the
weights in each convolution and fully connected layer. However,
parameter-efficient few-shot fine-tuning on its own often leads to overfitting.
To address this, we introduce a regularization technique based on symmetry of
human faces. This regularization enforces that novel view renderings of a
training sample, rendered from symmetric poses, exhibit the same identity. By
incorporating this symmetry prior, we enhance the quality of reconstruction and
synthesis, particularly for non-frontal (profile) faces. Our final system
combines low-rank fine-tuning with symmetry regularization and significantly
surpasses the performance of pre-trained models, e.g. EG3D. It introduces only
approximately 0.6 million additional parameters per identity compared to 31
million for full finetuning of the original model. As a result, our system
achieves a 50-fold reduction in model size without sacrificing the quality of
the generated 3D faces. Code will be available at our project page:
https://luchaoqi.github.io/my3dgen.
- Abstract(参考訳): 本稿では,10枚の画像を用いてパーソナライズされた軽量な3d生成システムmy3dgenを提案する。
My3DGenは、入力されたテスト画像から多視点一貫した画像を再構成し、同一人物の任意の2つの画像を補間することにより、新しい外観を生成する。
近年の研究では、高品質な2次元像再構成と合成を創出する上で、パーソナライズド・ジェネレーティブ・プレファレンスの有効性が実証されているが、私たちの知る限りでは、パーソナライズド・ジェネレーティブ・プレファレンスの開発は初めてである。
パーソナライズを実現するために,数百万のパラメータで事前学習された大規模生成モデルを微調整する代わりに,パラメータ効率のよい手法を提案する。
提案手法では,各畳み込み層と完全連結層における重みの低ランク分解により,個別の個別化事前を訓練しながら,固定重み付き事前学習モデルを利用する。
しかし、パラメーター効率の良いマイナルショットの微調整は、しばしば過剰フィッティングに繋がる。
そこで本研究では,人間の顔の対称性に基づく正規化手法を提案する。
この正規化は、対称的なポーズからレンダリングされたトレーニングサンプルの新しいビューレンダリングが同一のアイデンティティを示すことを強制する。
この対称性を事前に組み込むことにより、特に非面的(プロファイル)顔に対して、再構成と合成の質を高める。
我々の最終システムは低ランク微調整と対称性の正則化を組み合わせ、例えばEG3Dのような事前学習モデルの性能を大幅に上回る。
1単位あたりのパラメータはわずか0.6百万で、オリジナルのモデルの完全な微調整は31百万である。
その結果, 生成した3次元面の品質を犠牲にすることなく, モデルサイズを50倍に削減できることがわかった。
コードはこちらのプロジェクトページから利用できます。
関連論文リスト
- 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。
生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
論文 参考訳(メタデータ) (2024-03-17T06:31:16Z) - GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。
3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。
この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
論文 参考訳(メタデータ) (2023-11-22T19:13:00Z) - Inserting Anybody in Diffusion Models via Celeb Basis [29.51292196851589]
本研究では,個別個人を事前学習した拡散モデルにシームレスに統合するパーソナライズ手法を提案する。
そこで我々はまず,事前学習した大文字エンコーダの埋め込み空間から,明確に定義されたセレブベースを解析・構築する。
提案したセレブベースを活用することで、カスタマイズされたモデルの新たなアイデンティティは、従来のパーソナライズ手法よりも優れた概念の組み合わせ能力を示す。
論文 参考訳(メタデータ) (2023-06-01T17:30:24Z) - AgileGAN3D: Few-Shot 3D Portrait Stylization by Augmented Transfer
Learning [80.67196184480754]
本稿では,3次元芸術的に魅力的な肖像画を詳細な幾何学で作成できる新しいフレームワークであるemphAgileGAN3Dを提案する。
新しいスタイリゼーションは、わずか (約20) の未完成の2D例で得られる。
われわれのパイプラインは、ユーザの写真を多様な3Dアートのポートレートに変える強力な能力を示している。
論文 参考訳(メタデータ) (2023-03-24T23:04:20Z) - FaceScape: 3D Facial Dataset and Benchmark for Single-View 3D Face
Reconstruction [29.920622006999732]
大規模な3次元顔データセット、FaceScape、およびそれに対応するベンチマークを提示し、単視点顔の3次元再構成を評価する。
FaceScapeデータをトレーニングすることにより、単一の画像入力から精巧な3次元顔モデルを予測する新しいアルゴリズムを提案する。
また、FaceScapeデータを用いて、最新の単一視点顔再構成手法の評価を行う。
論文 参考訳(メタデータ) (2021-11-01T16:48:34Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。
DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。
本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
論文 参考訳(メタデータ) (2020-12-07T19:30:45Z) - Personalized Face Modeling for Improved Face Reconstruction and Motion
Retargeting [22.24046752858929]
本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。
具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。
実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
論文 参考訳(メタデータ) (2020-07-14T01:30:14Z) - StyleRig: Rigging StyleGAN for 3D Control over Portrait Images [81.43265493604302]
StyleGANは、目、歯、髪、コンテキスト(首、肩、背景)のある顔の肖像画を生成する
StyleGANには、顔ポーズ、表情、シーン照明といった3Dで解釈可能なセマンティックフェイスパラメータに対するrigのようなコントロールがない。
3DMMを用いて,事前に訓練された,固定されたStyleGANに対して,顔リグライクな制御を行うための最初の方法を提案する。
論文 参考訳(メタデータ) (2020-03-31T21:20:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。