論文の概要: StyleRig: Rigging StyleGAN for 3D Control over Portrait Images

• arxiv url: http://arxiv.org/abs/2004.00121v2
• Date: Sat, 13 Jun 2020 09:40:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 01:52:21.856994
• Title: StyleRig: Rigging StyleGAN for 3D Control over Portrait Images
• Title（参考訳）: stylerig: ポートレート画像の3d制御のためのstylegan
• Authors: Ayush Tewari, Mohamed Elgharib, Gaurav Bharaj, Florian Bernard, Hans-Peter Seidel, Patrick P\'erez, Michael Zollh\"ofer, Christian Theobalt
• Abstract要約: StyleGANは、目、歯、髪、コンテキスト(首、肩、背景)のある顔の肖像画を生成する StyleGANには、顔ポーズ、表情、シーン照明といった3Dで解釈可能なセマンティックフェイスパラメータに対するrigのようなコントロールがない。 3DMMを用いて,事前に訓練された,固定されたStyleGANに対して,顔リグライクな制御を行うための最初の方法を提案する。
• 参考スコア（独自算出の注目度）: 81.43265493604302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: StyleGAN generates photorealistic portrait images of faces with eyes, teeth, hair and context (neck, shoulders, background), but lacks a rig-like control over semantic face parameters that are interpretable in 3D, such as face pose, expressions, and scene illumination. Three-dimensional morphable face models (3DMMs) on the other hand offer control over the semantic parameters, but lack photorealism when rendered and only model the face interior, not other parts of a portrait image (hair, mouth interior, background). We present the first method to provide a face rig-like control over a pretrained and fixed StyleGAN via a 3DMM. A new rigging network, RigNet is trained between the 3DMM's semantic parameters and StyleGAN's input. The network is trained in a self-supervised manner, without the need for manual annotations. At test time, our method generates portrait images with the photorealism of StyleGAN and provides explicit control over the 3D semantic parameters of the face.
• Abstract（参考訳）: styleganは、目、歯、髪、背景(ネック、肩、背景)を持つ顔のフォトリアリスティックなポートレート画像を生成するが、顔のポーズ、表情、シーンの照明といった3dで解釈可能な意味的な顔パラメータを厳密に制御できない。 一方、三次元変形可能な顔モデル(3dmm)は、意味的パラメータを制御しているが、レンダリング時にフォトリアリズムを欠き、肖像画画像(髪、口内、背景)の他の部分ではなく、顔の内部をモデル化するだけである。 3DMMを用いて,事前に訓練された固定されたStyleGANに対して顔リグ様制御を行う。 新しいリギングネットワークであるRigNetは、3DMMのセマンティックパラメータとStyleGANの入力の間に訓練されている。 ネットワークは、手動のアノテーションを必要とせずに、自己監督でトレーニングされる。 テスト時にはStyleGANのフォトリアリズムによるポートレート画像を生成し,顔の3次元セマンティックパラメータを明示的に制御する。

関連論文リスト

• FaceGPT: Self-supervised Learning to Chat about 3D Human Faces [69.4651241319356]
  我々は、画像やテキストから3次元の人間の顔を推論するために、VLM(Large Vision-Language Models)のための自己教師型学習フレームワークFaceGPTを紹介した。 FaceGPTは、VLMのトークン空間に3Dフォーマブルフェイスモデルのパラメータ(3DMM)を埋め込むことで、この制限を克服する。 我々は,FaceGPTが高品質な3次元顔再構成を実現し,汎用的な視覚指導の能力を維持していることを示す。
  論文  参考訳（メタデータ） (2024-06-11T11:13:29Z)
• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• Controllable Face Manipulation and UV Map Generation by Self-supervised Learning [20.10160338724354]
  近年の手法は2次元生成モデルと3DMMを組み合わせることで2次元画像の明示的な制御を実現する。 3DMMによるテクスチャ再構築における現実性と明瞭さの欠如により,合成画像と3DMMの描画画像との間には領域ギャップがある。 本研究では,3DMMのパラメータを制御して,事前学習したStyleGANの潜在空間を明示的に編集することを提案する。
  論文  参考訳（メタデータ） (2022-09-24T16:49:25Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• Cross-Domain and Disentangled Face Manipulation with 3D Guidance [33.43993665841577]
  ヒト3DMMを用いて任意の領域の顔を操作する最初の方法を提案する。 これは、1) 3DMMパラメータから、事前訓練されたStyleGAN2の潜在空間埋め込みへの無絡マッピングである。 種々の顔領域における高品質な意味操作手法の優位性を示す実験と比較を行った。
  論文  参考訳（メタデータ） (2021-04-22T17:59:50Z)
• Lifting 2D StyleGAN for 3D-Aware Face Generation [52.8152883980813]
  我々は,3次元顔生成のための事前学習済みのStyleGAN2を切断し,持ち上げるLiftedGANというフレームワークを提案する。 本モデルは,(1)StyleGAN2の潜伏空間をテクスチャ,形状,視点,照明に分解し,(2)合成画像のための3D成分を生成することができるという意味で「3D認識」である。
  論文  参考訳（メタデータ） (2020-11-26T05:02:09Z)
• GIF: Generative Interpretable Faces [16.573491296543196]
  3次元顔モデリング法はパラメトリック制御を提供するが、非現実的な画像を生成する。 最近の手法は、教師なしの方法で異なる因子をアンタングルしようとするか、事前訓練されたモデルに制御ポストホックを追加することによって、部分的な制御を得る。 我々は、生成過程における乱れを促すために、事前定義された制御パラメータに生成モデルを条件付けする。
  論文  参考訳（メタデータ） (2020-08-31T23:40:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。