論文の概要: Cross-Domain and Disentangled Face Manipulation with 3D Guidance

• arxiv url: http://arxiv.org/abs/2104.11228v1
• Date: Thu, 22 Apr 2021 17:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-23 13:44:28.198124
• Title: Cross-Domain and Disentangled Face Manipulation with 3D Guidance
• Title（参考訳）: 3次元誘導によるクロスドメイン・ディスタングル顔操作
• Authors: Can Wang and Menglei Chai and Mingming He and Dongdong Chen and Jing Liao
• Abstract要約: ヒト3DMMを用いて任意の領域の顔を操作する最初の方法を提案する。 これは、1) 3DMMパラメータから、事前訓練されたStyleGAN2の潜在空間埋め込みへの無絡マッピングである。 種々の顔領域における高品質な意味操作手法の優位性を示す実験と比較を行った。
• 参考スコア（独自算出の注目度）: 33.43993665841577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face image manipulation via three-dimensional guidance has been widely applied in various interactive scenarios due to its semantically-meaningful understanding and user-friendly controllability. However, existing 3D-morphable-model-based manipulation methods are not directly applicable to out-of-domain faces, such as non-photorealistic paintings, cartoon portraits, or even animals, mainly due to the formidable difficulties in building the model for each specific face domain. To overcome this challenge, we propose, as far as we know, the first method to manipulate faces in arbitrary domains using human 3DMM. This is achieved through two major steps: 1) disentangled mapping from 3DMM parameters to the latent space embedding of a pre-trained StyleGAN2 that guarantees disentangled and precise controls for each semantic attribute; and 2) cross-domain adaptation that bridges domain discrepancies and makes human 3DMM applicable to out-of-domain faces by enforcing a consistent latent space embedding. Experiments and comparisons demonstrate the superiority of our high-quality semantic manipulation method on a variety of face domains with all major 3D facial attributes controllable: pose, expression, shape, albedo, and illumination. Moreover, we develop an intuitive editing interface to support user-friendly control and instant feedback. Our project page is https://cassiepython.github.io/sigasia/cddfm3d.html.
• Abstract（参考訳）: 3次元誘導による顔画像操作は,その意味論的理解とユーザフレンドリーな制御可能性から,様々な対話的シナリオに広く適用されている。 しかし、既存の3dモデルに基づく操作方法は、非写実的な絵画や漫画の肖像画、さらには動物など、ドメイン外の顔に直接は適用できない。 この課題を克服するために,人間の3DMMを用いて任意の領域の顔を操作する最初の方法を提案する。 1) 3DMMパラメータから、各意味属性に対する不整合かつ正確な制御を保証する事前訓練されたStyleGAN2の潜伏空間埋め込みへの不整合マッピング、2)ドメインの相違をブリッジし、一貫した潜伏空間埋め込みを強制することによって、人間の3DMMをドメイン外面に適用するクロスドメイン適応、である。 実験と比較により、ポーズ、表情、形状、アルベド、照明といった主要な3次元顔属性を制御可能な様々な顔領域における高品質な意味操作法が優れていることが示された。 さらに,ユーザフレンドリーな制御と即時フィードバックをサポートする直感的な編集インタフェースを開発した。 私たちのプロジェクトページはhttps://cassiepython.github.io/sigasia/cddfm3d.htmlです。

関連論文リスト

• Revealing Directions for Text-guided 3D Face Editing [52.85632020601518]
  3次元顔編集はマルチメディアにおいて重要な課題であり、様々な制御信号間での3次元顔モデルの操作を目的としている。 任意の属性記述に基づく3次元顔の生成と操作のためのテキスト汎用アプローチであるFace Clanを提案する。 本手法は,ユーザがテキスト記述で興味のある領域を直感的にカスタマイズできる,正確に制御可能な操作方法を提供する。
  論文  参考訳（メタデータ） (2024-10-07T12:04:39Z)
• Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
  我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。 私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
  論文  参考訳（メタデータ） (2024-09-25T14:56:37Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• Controllable Face Manipulation and UV Map Generation by Self-supervised Learning [20.10160338724354]
  近年の手法は2次元生成モデルと3DMMを組み合わせることで2次元画像の明示的な制御を実現する。 3DMMによるテクスチャ再構築における現実性と明瞭さの欠如により,合成画像と3DMMの描画画像との間には領域ギャップがある。 本研究では,3DMMのパラメータを制御して,事前学習したStyleGANの潜在空間を明示的に編集することを提案する。
  論文  参考訳（メタデータ） (2022-09-24T16:49:25Z)
• 3D-FM GAN: Towards 3D-Controllable Face Manipulation [43.99393180444706]
  3D-FM GANは、3D制御可能な顔操作に特化した新しい条件付きGANフレームワークである。 入力された顔画像と3D編集の物理的レンダリングの両方をStyleGANの潜在空間に注意深く符号化することにより、画像生成装置は高品質でアイデンティティを保存し、3D制御可能な顔操作を提供する。 提案手法は, 編集性の向上, アイデンティティの保存性の向上, 写真リアリズムの向上など, 様々なタスクにおいて, 先行技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-24T01:33:13Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• StyleRig: Rigging StyleGAN for 3D Control over Portrait Images [81.43265493604302]
  StyleGANは、目、歯、髪、コンテキスト(首、肩、背景)のある顔の肖像画を生成する StyleGANには、顔ポーズ、表情、シーン照明といった3Dで解釈可能なセマンティックフェイスパラメータに対するrigのようなコントロールがない。 3DMMを用いて,事前に訓練された,固定されたStyleGANに対して,顔リグライクな制御を行うための最初の方法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T21:20:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。