論文の概要: GIF: Generative Interpretable Faces
- arxiv url: http://arxiv.org/abs/2009.00149v2
- Date: Wed, 25 Nov 2020 13:37:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-23 06:36:48.830794
- Title: GIF: Generative Interpretable Faces
- Title(参考訳): GIF:生成可能な解釈可能な顔
- Authors: Partha Ghosh, Pravir Singh Gupta, Roy Uziel, Anurag Ranjan, Michael
Black, Timo Bolkart
- Abstract要約: 3次元顔モデリング法はパラメトリック制御を提供するが、非現実的な画像を生成する。
最近の手法は、教師なしの方法で異なる因子をアンタングルしようとするか、事前訓練されたモデルに制御ポストホックを追加することによって、部分的な制御を得る。
我々は、生成過程における乱れを促すために、事前定義された制御パラメータに生成モデルを条件付けする。
- 参考スコア(独自算出の注目度): 16.573491296543196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Photo-realistic visualization and animation of expressive human faces have
been a long standing challenge. 3D face modeling methods provide parametric
control but generates unrealistic images, on the other hand, generative 2D
models like GANs (Generative Adversarial Networks) output photo-realistic face
images, but lack explicit control. Recent methods gain partial control, either
by attempting to disentangle different factors in an unsupervised manner, or by
adding control post hoc to a pre-trained model. Unconditional GANs, however,
may entangle factors that are hard to undo later. We condition our generative
model on pre-defined control parameters to encourage disentanglement in the
generation process. Specifically, we condition StyleGAN2 on FLAME, a generative
3D face model. While conditioning on FLAME parameters yields unsatisfactory
results, we find that conditioning on rendered FLAME geometry and photometric
details works well. This gives us a generative 2D face model named GIF
(Generative Interpretable Faces) that offers FLAME's parametric control. Here,
interpretable refers to the semantic meaning of different parameters. Given
FLAME parameters for shape, pose, expressions, parameters for appearance,
lighting, and an additional style vector, GIF outputs photo-realistic face
images. We perform an AMT based perceptual study to quantitatively and
qualitatively evaluate how well GIF follows its conditioning. The code, data,
and trained model are publicly available for research purposes at
http://gif.is.tue.mpg.de.
- Abstract(参考訳): 写実的な可視化と表現力のある人間の顔のアニメーションは、長年の課題だった。
3d顔モデリングはパラメトリックな制御を提供するが、非現実的な画像を生成する一方で、gans(generative adversarial networks)のような生成型2dモデルは、フォトリアリスティックな顔画像を出力するが、明示的な制御は欠如している。
最近の手法は、教師なしの方法で異なる因子をアンタングルしようとするか、事前訓練されたモデルに制御ポストホックを追加することによって、部分的な制御を得る。
しかし、無条件のGANは後に解離しにくい因子を絡み合わせることがある。
我々は、生成過程における乱れを促すために、事前定義された制御パラメータに生成モデルを条件付けする。
具体的には3次元顔モデルFLAMEにStyleGAN2を付加する。
FLAMEパラメータの条件付けは不満足な結果をもたらすが、レンダリングされたFLAME幾何や測光の詳細の条件付けはうまく機能する。
これにより、FLAMEのパラメトリック制御を提供するGIF(Generative Interpretable Faces)という2次元顔モデルを生成することができる。
ここでは、解釈とは異なるパラメータの意味をいう。
形状、ポーズ、表現、外観、照明のパラメータ、および追加のスタイルベクトルのFLAMEパラメータが与えられた場合、GIFはフォトリアリスティックな顔画像を生成する。
AMTに基づく知覚的研究を行い、GIFの条件付けにどれだけの効果があるかを定量的に定性的に評価する。
コード、データ、トレーニングされたモデルは、http://gif.is.tue.mpg.deで研究目的で公開されている。
関連論文リスト
- CGOF++: Controllable 3D Face Synthesis with Conditional Generative
Occupancy Fields [52.14985242487535]
生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。
中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。
提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
論文 参考訳(メタデータ) (2022-11-23T19:02:50Z) - Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。
提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
論文 参考訳(メタデータ) (2022-09-12T17:40:08Z) - MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。
提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。
ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
論文 参考訳(メタデータ) (2021-11-01T15:53:36Z) - PIRenderer: Controllable Portrait Image Generation via Semantic Neural
Rendering [56.762094966235566]
ポートレート画像ニューラルレンダは、3次元の変形可能な顔モデルのパラメータで顔の動きを制御するために提案される。
提案モデルでは直感的な修正によって正確な動きで写真リアルなポートレート画像を生成することができる。
本モデルでは、単一の参照画像と駆動音声ストリームのみから、説得力のある動きでコヒーレントな動画を生成することができる。
論文 参考訳(メタデータ) (2021-09-17T07:24:16Z) - Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。
DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。
本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
論文 参考訳(メタデータ) (2020-12-07T19:30:45Z) - Lifting 2D StyleGAN for 3D-Aware Face Generation [52.8152883980813]
我々は,3次元顔生成のための事前学習済みのStyleGAN2を切断し,持ち上げるLiftedGANというフレームワークを提案する。
本モデルは,(1)StyleGAN2の潜伏空間をテクスチャ,形状,視点,照明に分解し,(2)合成画像のための3D成分を生成することができるという意味で「3D認識」である。
論文 参考訳(メタデータ) (2020-11-26T05:02:09Z) - StyleRig: Rigging StyleGAN for 3D Control over Portrait Images [81.43265493604302]
StyleGANは、目、歯、髪、コンテキスト(首、肩、背景)のある顔の肖像画を生成する
StyleGANには、顔ポーズ、表情、シーン照明といった3Dで解釈可能なセマンティックフェイスパラメータに対するrigのようなコントロールがない。
3DMMを用いて,事前に訓練された,固定されたStyleGANに対して,顔リグライクな制御を行うための最初の方法を提案する。
論文 参考訳(メタデータ) (2020-03-31T21:20:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。