論文の概要: DiffusionRig: Learning Personalized Priors for Facial Appearance Editing
- arxiv url: http://arxiv.org/abs/2304.06711v1
- Date: Thu, 13 Apr 2023 17:58:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-14 13:18:31.785147
- Title: DiffusionRig: Learning Personalized Priors for Facial Appearance Editing
- Title(参考訳): DiffusionRig: 顔画像編集のための個人化優先学習
- Authors: Zheng Ding, Xuaner Zhang, Zhihao Xia, Lars Jebe, Zhuowen Tu, Xiuming
Zhang
- Abstract要約: DiffusionRigは、粗い3D顔モデルに条件付けされた拡散モデルである。
3D顔モデルの単純なレンダリングを、ある人のリアルな写真にマップする。
このようなパーソナライズされた事前情報でCGI-to- Photoマッピングを学習することで、DiffusionRigは、照明、表情、ヘッドポーズなどを“リグ”することができる。
- 参考スコア(独自算出の注目度): 29.967273146028177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of learning person-specific facial priors from a small
number (e.g., 20) of portrait photos of the same person. This enables us to
edit this specific person's facial appearance, such as expression and lighting,
while preserving their identity and high-frequency facial details. Key to our
approach, which we dub DiffusionRig, is a diffusion model conditioned on, or
"rigged by," crude 3D face models estimated from single in-the-wild images by
an off-the-shelf estimator. On a high level, DiffusionRig learns to map
simplistic renderings of 3D face models to realistic photos of a given person.
Specifically, DiffusionRig is trained in two stages: It first learns generic
facial priors from a large-scale face dataset and then person-specific priors
from a small portrait photo collection of the person of interest. By learning
the CGI-to-photo mapping with such personalized priors, DiffusionRig can "rig"
the lighting, facial expression, head pose, etc. of a portrait photo,
conditioned only on coarse 3D models while preserving this person's identity
and other high-frequency characteristics. Qualitative and quantitative
experiments show that DiffusionRig outperforms existing approaches in both
identity preservation and photorealism. Please see the project website:
https://diffusionrig.github.io for the supplemental material, video, code, and
data.
- Abstract(参考訳): 本研究は,同一人物の肖像写真の少ない数(例:20)から,人物固有の顔の優先順位を学習する問題に対処する。
これにより、表情や照明などの特定の人物の顔の外観を編集し、身元や高周波の顔の詳細を保存できる。
筆者らがDiffusionRigをダブしたアプローチの鍵となるのは、市販の推定器で推定された1本の線内画像から推定される粗い3次元顔モデルである。
DiffusionRigは高いレベルで、3D顔モデルの単純なレンダリングを、ある人のリアルな写真にマップする。
DiffusionRigは、まず大規模な顔データセットから一般的な顔の先行情報を学習し、次に興味のある人の小さな肖像画写真コレクションから個人固有の先行データを学習する。
このようなパーソナライズされた事前のCGI-to- Photoマッピングを学習することにより、DiffusionRigは、人物のアイデンティティやその他の高周波特性を保ちながら、粗い3Dモデルにのみコンディションされた肖像画のライティング、表情、ヘッドポーズなどを“リグ”することができる。
定性的かつ定量的な実験は、DiffusionRigがアイデンティティ保存とフォトリアリズムの両方において、既存のアプローチよりも優れていることを示している。
追加資料、ビデオ、コード、データについては、プロジェクトのWebサイトをご覧ください。
関連論文リスト
- FitDiff: Robust monocular 3D facial shape and reflectance estimation
using Diffusion Models [85.45528952520468]
拡散型3次元顔アバター生成モデルFitDiffを提案する。
この装置は、"in-the-the-wild" 2D顔画像から抽出されたアイデンティティ埋め込みを利用して、再生可能な顔アバターを生成する。
顔認識の埋め込みを前提とした最初のLCMであるFitDiffは、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
論文 参考訳(メタデータ) (2023-12-07T17:35:49Z) - GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。
3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。
この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
論文 参考訳(メタデータ) (2023-11-22T19:13:00Z) - Unsupervised Disentangling of Facial Representations with 3D-aware
Latent Diffusion Models [19.766682414244023]
顔表現と同一性表現のための非教師付き非教師付きアンタングリングフレームワークであるLatentFaceを提案する。
まず,顔画像を3次元ラテント埋め込みに符号化する3D対応オートエンコーダを提案する。
第2に,顔の識別と表情に3D潜伏する新しい表現拡散モデル(RDM)を提案する。
論文 参考訳(メタデータ) (2023-09-15T09:34:05Z) - FaceChain: A Playground for Human-centric Artificial Intelligence
Generated Content [36.48960592782015]
FaceChainは、パーソナライズされたポートレート生成フレームワークで、一連のカスタマイズされた画像生成モデルと、顔に関連する知覚理解モデルの豊富なセットを組み合わせる。
我々は、複数のSOTAフェイスモデルを生成手順に注入し、従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。
FaceChainをベースとして、仮想トライオンや2Dトーキングヘッドなど、その価値をよりよく示すための、より広いグラウンドを構築するためのいくつかのアプリケーションも開発しています。
論文 参考訳(メタデータ) (2023-08-28T02:20:44Z) - 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。
このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
論文 参考訳(メタデータ) (2022-09-15T15:28:45Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。
DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。
本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
論文 参考訳(メタデータ) (2020-12-07T19:30:45Z) - Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。
我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。
提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
論文 参考訳(メタデータ) (2020-07-18T15:26:07Z) - FaR-GAN for One-Shot Face Reenactment [20.894596219099164]
本稿では,任意の音源の顔画像とターゲット表現のみを入力として用いた一発顔再現モデルFaR-GANを提案する。
提案手法は,音源の同一性,表情,頭部ポーズ,さらには画像背景についても仮定しない。
論文 参考訳(メタデータ) (2020-05-13T16:15:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。