論文の概要: StyleMorpheus: A Style-Based 3D-Aware Morphable Face Model

• arxiv url: http://arxiv.org/abs/2503.11792v1
• Date: Fri, 14 Mar 2025 18:32:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:31:46.989934
• Title: StyleMorpheus: A Style-Based 3D-Aware Morphable Face Model
• Title（参考訳）: StyleMorpheus:スタイルベースの3D対応型顔モデル
• Authors: Peizhi Yan, Rabab K. Ward, Dan Wang, Qiang Tang, Shan Du,
• Abstract要約: StyleMorpheusは、最初のスタイルベースの3Dモールブルフェイスモデルである。 我々は、デコーダをスタイルベースで生成した逆数学習によって微調整し、フォトリアリスティックな3Dレンダリング品質を実現する。 我々のモデルはリアルタイムのレンダリング速度を実現し、バーチャルリアリティーアプリケーションでの使用を可能にした。
• 参考スコア（独自算出の注目度）: 11.19751552728812
• License:
• Abstract: For 3D face modeling, the recently developed 3D-aware neural rendering methods are able to render photorealistic face images with arbitrary viewing directions. The training of the parametric controllable 3D-aware face models, however, still relies on a large-scale dataset that is lab-collected. To address this issue, this paper introduces "StyleMorpheus", the first style-based neural 3D Morphable Face Model (3DMM) that is trained on in-the-wild images. It inherits 3DMM's disentangled controllability (over face identity, expression, and appearance) but without the need for accurately reconstructed explicit 3D shapes. StyleMorpheus employs an auto-encoder structure. The encoder aims at learning a representative disentangled parametric code space and the decoder improves the disentanglement using shape and appearance-related style codes in the different sub-modules of the network. Furthermore, we fine-tune the decoder through style-based generative adversarial learning to achieve photorealistic 3D rendering quality. The proposed style-based design enables StyleMorpheus to achieve state-of-the-art 3D-aware face reconstruction results, while also allowing disentangled control of the reconstructed face. Our model achieves real-time rendering speed, allowing its use in virtual reality applications. We also demonstrate the capability of the proposed style-based design in face editing applications such as style mixing and color editing. Project homepage: https://github.com/ubc-3d-vision-lab/StyleMorpheus.
• Abstract（参考訳）: 3D顔モデリングでは、最近開発された3D対応のニューラルレンダリング手法により、任意の視角でフォトリアリスティックな顔画像を描画することができる。 しかし、パラメトリック制御可能な3D認識顔モデルのトレーニングは、いまだに研究室で収集された大規模なデータセットに依存している。 この問題に対処するために,本研究では,最初のスタイルベースのニューラル3DモーフブルフェイスモデルであるStyleMorpheus(3DMM)を紹介する。 3DMMの不整合性(顔のアイデンティティ、表情、外観)を継承するが、正確な3D形状を正確に再構築する必要はない。 StyleMorpheusは自動エンコーダ構造を採用している。 エンコーダは、代表的乱れパラメトリック符号空間を学習することを目的としており、デコーダは、ネットワークの異なるサブモジュールにおける形状および外観関連スタイル符号を用いて、乱れを改善する。 さらに、デコーダをスタイルベースの生成逆数学習により微調整し、フォトリアリスティックな3Dレンダリング品質を実現する。 提案したスタイルベース設計により、StyleMorpheusは最先端の3D認識顔再構成結果を実現するとともに、再構成顔のアンタングル制御を可能にする。 我々のモデルはリアルタイムのレンダリング速度を実現し、バーチャルリアリティーアプリケーションでの使用を可能にした。 また,スタイルミキシングやカラー編集などの顔編集アプリケーションにおいて,提案するスタイルベースデザインの能力を実証する。 プロジェクトホームページ: https://github.com/ubc-3d-vision-lab/StyleMorpheus

関連論文リスト

• Generating Editable Head Avatars with 3D Gaussian GANs [57.51487984425395]
  従来の3D-Aware Generative Adversarial Network (GAN) は、フォトリアリスティックでビューに一貫性のある3Dヘッド合成を実現する。 本稿では,3次元ガウススプラッティング(3DGS)を明示的な3次元表現として取り入れることで,3次元ヘッドアバターの編集性とアニメーション制御を向上する手法を提案する。 提案手法は,最先端の制御性を備えた高品質な3D認識合成を実現する。
  論文  参考訳（メタデータ） (2024-12-26T10:10:03Z)
• LeGO: Leveraging a Surface Deformation Network for Animatable Stylized Face Generation with One Example [5.999050119438177]
  所望のトポロジを持つ高度にスタイリングされた3次元顔モデルを作成する方法を提案する。 提案手法は3DMMを用いて表面変形ネットワークをトレーニングし,その領域を微分可能なメッシュと方向CLIP損失を用いて対象に翻訳する。 ネットワークは、差別化可能なメッシュと指向的なCLIP損失を使用して、ターゲットのスタイルを模倣することにより、3Dフェイスメッシュのスタイリングを実現する。
  論文  参考訳（メタデータ） (2024-03-22T14:20:54Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• StyleRig: Rigging StyleGAN for 3D Control over Portrait Images [81.43265493604302]
  StyleGANは、目、歯、髪、コンテキスト(首、肩、背景)のある顔の肖像画を生成する StyleGANには、顔ポーズ、表情、シーン照明といった3Dで解釈可能なセマンティックフェイスパラメータに対するrigのようなコントロールがない。 3DMMを用いて,事前に訓練された,固定されたStyleGANに対して,顔リグライクな制御を行うための最初の方法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T21:20:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。