論文の概要: Disentangled and Controllable Face Image Generation via 3D Imitative-Contrastive Learning

• arxiv url: http://arxiv.org/abs/2004.11660v2
• Date: Fri, 4 Sep 2020 04:32:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 03:52:41.309363
• Title: Disentangled and Controllable Face Image Generation via 3D Imitative-Contrastive Learning
• Title（参考訳）: 3次元イミティブ・コントラスト学習による遠方および制御可能な顔画像生成
• Authors: Yu Deng, Jiaolong Yang, Dong Chen, Fang Wen, Xin Tong
• Abstract要約: 本研究では,不整合かつ正確に制御可能な潜伏表現を持つ仮想人物の顔画像生成手法であるDiscoFaceGANを提案する。 解析的3次元顔の変形・描画過程のイメージ形成を模倣するために,3次元前処理を逆学習に組み込んでネットワークを訓練する。
• 参考スコア（独自算出の注目度）: 43.53235319568048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose DiscoFaceGAN, an approach for face image generation of virtual people with disentangled, precisely-controllable latent representations for identity of non-existing people, expression, pose, and illumination. We embed 3D priors into adversarial learning and train the network to imitate the image formation of an analytic 3D face deformation and rendering process. To deal with the generation freedom induced by the domain gap between real and rendered faces, we further introduce contrastive learning to promote disentanglement by comparing pairs of generated images. Experiments show that through our imitative-contrastive learning, the factor variations are very well disentangled and the properties of a generated face can be precisely controlled. We also analyze the learned latent space and present several meaningful properties supporting factor disentanglement. Our method can also be used to embed real images into the disentangled latent space. We hope our method could provide new understandings of the relationship between physical properties and deep image synthesis.
• Abstract（参考訳）: 既存の人物の身元、表情、ポーズ、照明を正確に制御可能な仮想人物の顔画像生成手法であるDiscoFaceGANを提案する。 3dプリエントをadversarial learningに組み込んでネットワークを訓練し、解析的な3d顔変形およびレンダリングプロセスのイメージ形成を模倣する。 実面と描画面の領域ギャップによって引き起こされる生成自由に対応するために,生成した画像のペアを比較して,絡み合いを促進するコントラスト学習を導入する。 実験により, 模倣コントラスト学習により, 因子のばらつきが非常によく異なっており, 生成した顔の特性を高精度に制御できることを示した。 また,学習した潜伏空間を解析し,因子の絡み合いを支持するいくつかの有意義な特性を示す。 提案手法は,実画像の非絡み合い空間への埋め込みにも利用できる。 我々は,物理特性と深部画像合成の関係について,新たな理解を期待する。

関連論文リスト

• Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
  ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。 提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
  論文  参考訳（メタデータ） (2022-09-12T17:40:08Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• Self-Supervised Image Representation Learning with Geometric Set Consistency [50.12720780102395]
  本稿では,3次元幾何整合性に基づく自己教師付き画像表現学習法を提案する。 具体的には、画像ビュー内の特徴整合性を強化するために、コントラスト学習フレームワークに3次元幾何学的整合性を導入する。
  論文  参考訳（メタデータ） (2022-03-29T08:57:33Z)
• Finding Directions in GAN's Latent Space for Neural Face Reenactment [45.67273942952348]
  本論文は顔/頭部の再現において,対象顔の顔ポーズ(3D頭部の向きと表情)を元顔に転送することが目的である。 我々は、訓練済みの(微調整済みの)GANを使用することで、そのようなネットワークのトレーニングを回避し、異なるアプローチをとる。 GAN潜伏空間に実画像を埋め込むことで,実世界の顔の再現に有効であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T19:14:03Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• VariTex: Variational Neural Face Textures [0.0]
  VariTexは、ニューラルフェイステクスチャの変動潜在特徴空間を学習する手法である。 頭部の完全な画像を生成するために,毛髪などの正確な詳細情報を生成する付加デコーダを提案する。 その結果、顔のポーズ、顔の形状、表情の微粒度を制御できる新しいアイデンティティの幾何学的に一貫性のある画像を生成することができる。
  論文  参考訳（メタデータ） (2021-04-13T07:47:53Z)
• Face Forgery Detection by 3D Decomposition [72.22610063489248]
  顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。 顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。 直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
  論文  参考訳（メタデータ） (2020-11-19T09:25:44Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。