論文の概要: SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance

• arxiv url: http://arxiv.org/abs/2312.08889v1
• Date: Wed, 13 Dec 2023 14:48:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 22:28:01.313908
• Title: SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance
• Title（参考訳）: SEEAvatar: 制約された幾何学と外観を持つフォトリアリスティックテキストから3次元アバター生成
• Authors: Yuanyou Xu, Zongxin Yang, Yi Yang
• Abstract要約: テキストから光リアルな3Dアバターを生成する方法であるSEEAvatarを提案する。 幾何学において、最適化されたアバターをテンプレートアバターで適切に大域的に制限することを提案する。 外観生成には、プロンプトエンジニアリングによって強化された拡散モデルを用いて物理ベースのレンダリングパイプラインを誘導する。
• 参考スコア（独自算出の注目度）: 37.85026590250023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Powered by large-scale text-to-image generation models, text-to-3D avatar generation has made promising progress. However, most methods fail to produce photorealistic results, limited by imprecise geometry and low-quality appearance. Towards more practical avatar generation, we present SEEAvatar, a method for generating photorealistic 3D avatars from text with SElf-Evolving constraints for decoupled geometry and appearance. For geometry, we propose to constrain the optimized avatar in a decent global shape with a template avatar. The template avatar is initialized with human prior and can be updated by the optimized avatar periodically as an evolving template, which enables more flexible shape generation. Besides, the geometry is also constrained by the static human prior in local parts like face and hands to maintain the delicate structures. For appearance generation, we use diffusion model enhanced by prompt engineering to guide a physically based rendering pipeline to generate realistic textures. The lightness constraint is applied on the albedo texture to suppress incorrect lighting effect. Experiments show that our method outperforms previous methods on both global and local geometry and appearance quality by a large margin. Since our method can produce high-quality meshes and textures, such assets can be directly applied in classic graphics pipeline for realistic rendering under any lighting condition. Project page at: https://seeavatar3d.github.io.
• Abstract（参考訳）: 大規模なテキストから画像への生成モデルによって、テキストから3dアバターの生成は有望な進歩を遂げている。 しかし、ほとんどの方法は不正確な幾何学と低品質の外観によって制限されたフォトリアリスティックな結果を生み出すことができない。 より実用的なアバター生成に向けて,本論文では,Self-Evolving 制約付きテキストからフォトリアリスティックな3Dアバターを生成する方法であるSEEAvatarを提案する。 幾何学では,テンプレートアバターを用いて最適化アバターを適度なグローバル形状に制約することを提案する。 テンプレートアバターは、ヒトの事前で初期化され、最適化されたアバターを周期的に進化テンプレートとして更新し、より柔軟な形状生成を可能にする。 さらに、顔や手などの局所的な部分において、静的な人間によって、微妙な構造を維持するために制約される。 外観生成のために,プロンプトエンジニアリングにより拡張された拡散モデルを用いて,物理ベースのレンダリングパイプラインをガイドし,リアルなテクスチャを生成する。 アルベドテクスチャに光度制約を適用し、誤った照明効果を抑制する。 実験により,本手法は,大域的・局所的な幾何学的手法と外観的品質を大きなマージンで比較した。 本手法は高品質なメッシュやテクスチャを生成できるため,任意の照明条件下でのリアルレンダリングのために,従来のグラフィックパイプラインに直接適用することができる。 プロジェクトページ: https://seeavatar3d.github.io

関連論文リスト

• UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures [80.047065473698]
  幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。 提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2024-01-20T01:55:17Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。 提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。 シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
  論文  参考訳（メタデータ） (2022-11-26T15:15:45Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。