論文の概要: Text-Driven Diverse Facial Texture Generation via Progressive Latent-Space Refinement

• arxiv url: http://arxiv.org/abs/2404.09540v1
• Date: Mon, 15 Apr 2024 08:04:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 13:09:46.044147
• Title: Text-Driven Diverse Facial Texture Generation via Progressive Latent-Space Refinement
• Title（参考訳）: プログレッシブ・ラテント・スペース・リファインメントによるテキスト駆動多面顔テクスチャ生成
• Authors: Chi Wang, Junming Huang, Rong Zhang, Qi Wang, Haotian Yang, Haibin Huang, Chongyang Ma, Weiwei Xu,
• Abstract要約: 顔画像から生成した3次元Morphable Models(3DMMs)に基づくテクスチャマップからのブートストラップに対する進行的潜時空間改善手法を提案する。 本手法は, フォトリアリスティックな品質, 多様性, 効率に関する既存の3次元テクスチャ生成手法より優れている。
• 参考スコア（独自算出の注目度）: 34.00893761125383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic 3D facial texture generation has gained significant interest recently. Existing approaches may not support the traditional physically based rendering pipeline or rely on 3D data captured by Light Stage. Our key contribution is a progressive latent space refinement approach that can bootstrap from 3D Morphable Models (3DMMs)-based texture maps generated from facial images to generate high-quality and diverse PBR textures, including albedo, normal, and roughness. It starts with enhancing Generative Adversarial Networks (GANs) for text-guided and diverse texture generation. To this end, we design a self-supervised paradigm to overcome the reliance on ground truth 3D textures and train the generative model with only entangled texture maps. Besides, we foster mutual enhancement between GANs and Score Distillation Sampling (SDS). SDS boosts GANs with more generative modes, while GANs promote more efficient optimization of SDS. Furthermore, we introduce an edge-aware SDS for multi-view consistent facial structure. Experiments demonstrate that our method outperforms existing 3D texture generation methods regarding photo-realistic quality, diversity, and efficiency.
• Abstract（参考訳）: 近年,3次元顔のテクスチャ自動生成が注目されている。 既存のアプローチでは、従来の物理ベースのレンダリングパイプラインをサポートしなかったり、Light Stageでキャプチャされた3Dデータに依存していたりします。 我々の重要な貢献は、3次元形態モデル(3DMM)に基づく顔画像から生成されるテクスチャマップをブートストラップして、アルベド、正常、粗さを含む高品質で多様なPBRテクスチャを生成する、進歩的な潜在空間改善アプローチである。 テキスト誘導および多様なテクスチャ生成のためのGAN(Generative Adversarial Networks)の拡張から始まる。 そこで本稿では, 地平3次元テクスチャへの依存を克服し, 絡み合ったテクスチャマップのみを用いて生成モデルを訓練するために, 自己教師型パラダイムを設計する。 また,GANとスコア蒸留サンプリング(SDS)の相互強化も促進する。 SDS はより生成モードで GAN を強化し、一方 GAN はより効率的な SDS の最適化を促進する。 さらに,多視点一貫した顔構造のためのエッジ認識型SDSを提案する。 実験により,本手法はフォトリアリスティックな品質,多様性,効率に関する既存の3次元テクスチャ生成手法よりも優れていた。

関連論文リスト

• EucliDreamer: Fast and High-Quality Texturing for 3D Models with Depth-Conditioned Stable Diffusion [5.158983929861116]
  EucliDreamerは、テキストとプロンプトが与えられた3次元モデルのテクスチャを生成するための、シンプルで効果的な方法である。 テクスチャは3次元表面上の暗黙の関数としてパラメータ化され、スコア蒸留サンプリング(SDS)プロセスと微分レンダリングで最適化される。
  論文  参考訳（メタデータ） (2024-04-16T04:44:16Z)
• UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures [80.047065473698]
  幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。 提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2024-01-20T01:55:17Z)
• UniDream: Unifying Diffusion Priors for Relightable Text-to-3D Generation [101.2317840114147]
  We present UniDream, a text-to-3D generation framework by integration priors。 提案手法は,(1)アルベド正規配位型多視点拡散・再構成モデルを得るための2相学習プロセス,(2)訓練された再構成・拡散モデルを用いたスコア蒸留サンプル(SDS)に基づく幾何およびアルベドテクスチャのプログレッシブ生成手順,(3)安定拡散モデルに基づく固定アルベドを保ちながらPBR生成を確定するSDSの革新的な応用,の3つからなる。
  論文  参考訳（メタデータ） (2023-12-14T09:07:37Z)
• PaintHuman: Towards High-fidelity Text-to-3D Human Texturing via Denoised Score Distillation [89.09455618184239]
  テキスト・ツー・3D世代における最近の進歩は画期的なものである。 そこで我々はPaintHumanというモデルを提案し,その課題を2つの側面から解決する。 奥行きマップを手引きとして,現実的なセマンティックなテクスチャの整合性を保証する。
  論文  参考訳（メタデータ） (2023-10-14T00:37:16Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。