論文の概要: Cross-Domain and Disentangled Face Manipulation with 3D Guidance
- arxiv url: http://arxiv.org/abs/2104.11228v1
- Date: Thu, 22 Apr 2021 17:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-23 13:44:28.198124
- Title: Cross-Domain and Disentangled Face Manipulation with 3D Guidance
- Title(参考訳): 3次元誘導によるクロスドメイン・ディスタングル顔操作
- Authors: Can Wang and Menglei Chai and Mingming He and Dongdong Chen and Jing
Liao
- Abstract要約: ヒト3DMMを用いて任意の領域の顔を操作する最初の方法を提案する。
これは、1) 3DMMパラメータから、事前訓練されたStyleGAN2の潜在空間埋め込みへの無絡マッピングである。
種々の顔領域における高品質な意味操作手法の優位性を示す実験と比較を行った。
- 参考スコア(独自算出の注目度): 33.43993665841577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face image manipulation via three-dimensional guidance has been widely
applied in various interactive scenarios due to its semantically-meaningful
understanding and user-friendly controllability. However, existing
3D-morphable-model-based manipulation methods are not directly applicable to
out-of-domain faces, such as non-photorealistic paintings, cartoon portraits,
or even animals, mainly due to the formidable difficulties in building the
model for each specific face domain. To overcome this challenge, we propose, as
far as we know, the first method to manipulate faces in arbitrary domains using
human 3DMM. This is achieved through two major steps: 1) disentangled mapping
from 3DMM parameters to the latent space embedding of a pre-trained StyleGAN2
that guarantees disentangled and precise controls for each semantic attribute;
and 2) cross-domain adaptation that bridges domain discrepancies and makes
human 3DMM applicable to out-of-domain faces by enforcing a consistent latent
space embedding. Experiments and comparisons demonstrate the superiority of our
high-quality semantic manipulation method on a variety of face domains with all
major 3D facial attributes controllable: pose, expression, shape, albedo, and
illumination. Moreover, we develop an intuitive editing interface to support
user-friendly control and instant feedback. Our project page is
https://cassiepython.github.io/sigasia/cddfm3d.html.
- Abstract(参考訳): 3次元誘導による顔画像操作は,その意味論的理解とユーザフレンドリーな制御可能性から,様々な対話的シナリオに広く適用されている。
しかし、既存の3dモデルに基づく操作方法は、非写実的な絵画や漫画の肖像画、さらには動物など、ドメイン外の顔に直接は適用できない。
この課題を克服するために,人間の3DMMを用いて任意の領域の顔を操作する最初の方法を提案する。
1) 3DMMパラメータから、各意味属性に対する不整合かつ正確な制御を保証する事前訓練されたStyleGAN2の潜伏空間埋め込みへの不整合マッピング、2)ドメインの相違をブリッジし、一貫した潜伏空間埋め込みを強制することによって、人間の3DMMをドメイン外面に適用するクロスドメイン適応、である。
実験と比較により、ポーズ、表情、形状、アルベド、照明といった主要な3次元顔属性を制御可能な様々な顔領域における高品質な意味操作法が優れていることが示された。
さらに,ユーザフレンドリーな制御と即時フィードバックをサポートする直感的な編集インタフェースを開発した。
私たちのプロジェクトページはhttps://cassiepython.github.io/sigasia/cddfm3d.htmlです。
関連論文リスト
- Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳(メタデータ) (2023-09-28T17:59:51Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳(メタデータ) (2023-05-04T17:58:40Z) - Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence
Learning [70.75369367311897]
3D対応のグローバルな対応は、グローバルな意味的相関、局所的な変形、および3D人体の幾何学的先行を共同でエンコードする信頼性のあるフローである。
対向ジェネレータは、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
論文 参考訳(メタデータ) (2022-11-25T12:16:21Z) - Next3D: Generative Neural Texture Rasterization for 3D-Aware Head
Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。
最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。
本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-21T06:40:46Z) - Controllable Face Manipulation and UV Map Generation by Self-supervised
Learning [20.10160338724354]
近年の手法は2次元生成モデルと3DMMを組み合わせることで2次元画像の明示的な制御を実現する。
3DMMによるテクスチャ再構築における現実性と明瞭さの欠如により,合成画像と3DMMの描画画像との間には領域ギャップがある。
本研究では,3DMMのパラメータを制御して,事前学習したStyleGANの潜在空間を明示的に編集することを提案する。
論文 参考訳(メタデータ) (2022-09-24T16:49:25Z) - 3D-FM GAN: Towards 3D-Controllable Face Manipulation [43.99393180444706]
3D-FM GANは、3D制御可能な顔操作に特化した新しい条件付きGANフレームワークである。
入力された顔画像と3D編集の物理的レンダリングの両方をStyleGANの潜在空間に注意深く符号化することにより、画像生成装置は高品質でアイデンティティを保存し、3D制御可能な顔操作を提供する。
提案手法は, 編集性の向上, アイデンティティの保存性の向上, 写真リアリズムの向上など, 様々なタスクにおいて, 先行技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-08-24T01:33:13Z) - Cross-Modal 3D Shape Generation and Manipulation [62.50628361920725]
本稿では,2次元のモダリティと暗黙の3次元表現を共用した多モード生成モデルを提案する。
グレースケールラインスケッチとレンダリングカラー画像の2つの代表的な2次元モーダル性について,本フレームワークの評価を行った。
論文 参考訳(メタデータ) (2022-07-24T19:22:57Z) - MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。
提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。
ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
論文 参考訳(メタデータ) (2021-11-01T15:53:36Z) - StyleRig: Rigging StyleGAN for 3D Control over Portrait Images [81.43265493604302]
StyleGANは、目、歯、髪、コンテキスト(首、肩、背景)のある顔の肖像画を生成する
StyleGANには、顔ポーズ、表情、シーン照明といった3Dで解釈可能なセマンティックフェイスパラメータに対するrigのようなコントロールがない。
3DMMを用いて,事前に訓練された,固定されたStyleGANに対して,顔リグライクな制御を行うための最初の方法を提案する。
論文 参考訳(メタデータ) (2020-03-31T21:20:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。