論文の概要: Controllable Face Manipulation and UV Map Generation by Self-supervised
Learning
- arxiv url: http://arxiv.org/abs/2209.12050v1
- Date: Sat, 24 Sep 2022 16:49:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 16:05:31.526362
- Title: Controllable Face Manipulation and UV Map Generation by Self-supervised
Learning
- Title（参考訳）: 自己教師あり学習による制御可能な顔操作とuvマップ生成
- Authors: Yuanming Li, Jeong-gi Kwak, David Han, Hanseok Ko
- Abstract要約: 近年の手法は2次元生成モデルと3DMMを組み合わせることで2次元画像の明示的な制御を実現する。
3DMMによるテクスチャ再構築における現実性と明瞭さの欠如により,合成画像と3DMMの描画画像との間には領域ギャップがある。
本研究では,3DMMのパラメータを制御して,事前学習したStyleGANの潜在空間を明示的に編集することを提案する。
- 参考スコア（独自算出の注目度）: 20.10160338724354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although manipulating facial attributes by Generative Adversarial Networks
(GANs) has been remarkably successful recently, there are still some challenges
in explicit control of features such as pose, expression, lighting, etc. Recent
methods achieve explicit control over 2D images by combining 2D generative
model and 3DMM. However, due to the lack of realism and clarity in texture
reconstruction by 3DMM, there is a domain gap between the synthetic image and
the rendered image of 3DMM. Since rendered 3DMM images contain facial region
only without the background, directly computing the loss between these two
domains is not ideal and the resultant trained model will be biased. In this
study, we propose to explicitly edit the latent space of the pretrained
StyleGAN by controlling the parameters of the 3DMM. To address the domain gap
problem, we propose a noval network called 'Map and edit' and a simple but
effective attribute editing method to avoid direct loss computation between
rendered and synthesized images. Furthermore, since our model can accurately
generate multi-view face images while the identity remains unchanged. As a
by-product, combined with visibility masks, our proposed model can also
generate texture-rich and high-resolution UV facial textures. Our model relies
on pretrained StyleGAN, and the proposed model is trained in a self-supervised
manner without any manual annotations or datasets.
- Abstract（参考訳）: 近年,gans(generative adversarial network)による顔属性の操作は著しく成功したが,ポーズ,表情,照明などの特徴の明示的な制御には課題がある。
近年の手法は2次元生成モデルと3DMMを組み合わせることで2次元画像の明示的な制御を実現する。
しかし、3DMMによるテクスチャ再構築における現実性と明瞭さの欠如により、合成画像と3DMMのレンダリング画像との間には領域ギャップがある。
レンダリングされた3DMM画像は背景のない顔領域を含むため、これらの2つの領域間の損失を直接計算することは理想的ではなく、結果として訓練されたモデルにバイアスがかかる。
本研究では,3DMMのパラメータを制御して,事前学習したStyleGANの潜在空間を明示的に編集することを提案する。
ドメインギャップ問題に対処するために,「マップと編集」と呼ばれるnovalネットワークと,レンダリング画像と合成画像間の直接損失計算を回避するための単純かつ効果的な属性編集手法を提案する。
また,同一性を維持しつつ,複数視点の顔画像を正確に生成することができる。
視認性マスクと組み合わせた副産物として,提案モデルはテクスチャリッチで高解像度なUV顔テクスチャを生成できる。
我々のモデルは事前訓練されたStyleGANに依存しており、提案モデルは手動のアノテーションやデータセットを使わずに自己指導的な方法で訓練される。
関連論文リスト
- IFaceUV: Intuitive Motion Facial Image Generation by Identity
Preservation via UV map [5.397942823754509]
IFaceUVは、2Dと3Dの情報を適切に組み合わせて顔の再現作業を行うパイプラインである。
三次元変形可能な顔モデル(3DMM)とそれに対応する紫外線マップを用いて、顔の動きやテクスチャを直感的に制御する。
パイプラインでは,まず3DMMパラメータと対応するUVマップを,ソース画像とターゲット画像から抽出する。
並行して、2次元ワープネットワークから得られる2次元流れ場に応じて、ソースイメージをワープする。
論文 参考訳（メタデータ） (2023-06-08T06:15:13Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳（メタデータ） (2023-05-04T17:58:40Z) - CGOF++: Controllable 3D Face Synthesis with Conditional Generative
Occupancy Fields [52.14985242487535]
生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。
中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。
提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
論文 参考訳（メタデータ） (2022-11-23T19:02:50Z) - Next3D: Generative Neural Texture Rasterization for 3D-Aware Head
Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。
最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。
本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-21T06:40:46Z) - NeuralReshaper: Single-image Human-body Retouching with Deep Neural
Networks [50.40798258968408]
本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。
われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。
ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
論文 参考訳（メタデータ） (2022-03-20T09:02:13Z) - MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。
提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。
ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
論文 参考訳（メタデータ） (2021-11-01T15:53:36Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-05-06T04:16:06Z) - Cross-Domain and Disentangled Face Manipulation with 3D Guidance [33.43993665841577]
ヒト3DMMを用いて任意の領域の顔を操作する最初の方法を提案する。
これは、1) 3DMMパラメータから、事前訓練されたStyleGAN2の潜在空間埋め込みへの無絡マッピングである。
種々の顔領域における高品質な意味操作手法の優位性を示す実験と比較を行った。
論文 参考訳（メタデータ） (2021-04-22T17:59:50Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳（メタデータ） (2020-12-30T23:53:26Z) - Convolutional Generation of Textured 3D Meshes [34.20939983046376]
単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。
我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。
本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2020-06-13T15:23:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。