論文の概要: UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures

• arxiv url: http://arxiv.org/abs/2401.11078v2
• Date: Mon, 30 Sep 2024 02:14:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 21:59:48.182522
• Title: UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures
• Title（参考訳）: UltrAvatar: 認証型テクスチャを用いたリアルなアニマタブル3次元アバター拡散モデル
• Authors: Mingyuan Zhou, Rakib Hyder, Ziwei Xuan, Guojun Qi,
• Abstract要約: 幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。 提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
• 参考スコア（独自算出の注目度）: 80.047065473698
• License:
• Abstract: Recent advances in 3D avatar generation have gained significant attentions. These breakthroughs aim to produce more realistic animatable avatars, narrowing the gap between virtual and real-world experiences. Most of existing works employ Score Distillation Sampling (SDS) loss, combined with a differentiable renderer and text condition, to guide a diffusion model in generating 3D avatars. However, SDS often generates oversmoothed results with few facial details, thereby lacking the diversity compared with ancestral sampling. On the other hand, other works generate 3D avatar from a single image, where the challenges of unwanted lighting effects, perspective views, and inferior image quality make them difficult to reliably reconstruct the 3D face meshes with the aligned complete textures. In this paper, we propose a novel 3D avatar generation approach termed UltrAvatar with enhanced fidelity of geometry, and superior quality of physically based rendering (PBR) textures without unwanted lighting. To this end, the proposed approach presents a diffuse color extraction model and an authenticity guided texture diffusion model. The former removes the unwanted lighting effects to reveal true diffuse colors so that the generated avatars can be rendered under various lighting conditions. The latter follows two gradient-based guidances for generating PBR textures to render diverse face-identity features and details better aligning with 3D mesh geometry. We demonstrate the effectiveness and robustness of the proposed method, outperforming the state-of-the-art methods by a large margin in the experiments.
• Abstract（参考訳）: 近年の3Dアバター生成は注目されている。 これらのブレークスルーは、より現実的なアニマタブルなアバターを作り出すことを目的としており、仮想体験と現実世界体験のギャップを狭める。 既存の作品の多くは、Score Distillation Sampling (SDS) の損失と、微分可能なレンダラとテキスト条件を組み合わせて、3Dアバターを生成する拡散モデルを導いている。 しかし、SDSは顔の細部が少ないため、祖先のサンプリングに比べて多様性に欠けることが多い。 一方、他の作品では、1枚の画像から3Dアバターを生成しており、望ましくない照明効果、視点ビュー、画質の低下といった課題により、アライメントされた完全なテクスチャで3Dフェイスメッシュを確実に再構築することは困難である。 本稿では,幾何の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案する。 この目的のために,本提案手法では,拡散色抽出モデルと信頼性誘導テクスチャ拡散モデルを提案する。 前者は、望ましくない照明効果を除去し、真の拡散色を明らかにすることにより、生成されたアバターを様々な照明条件下でレンダリングすることができる。 後者は、PBRテクスチャを生成するための勾配に基づく2つのガイダンスに従って、多様な顔の同一性の特徴を描画し、3Dメッシュ幾何との整合性を改善する。 提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。

関連論文リスト

• SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance [37.85026590250023]
  テキストから光リアルな3Dアバターを生成する方法であるSEEAvatarを提案する。 幾何学において、最適化されたアバターをテンプレートアバターで適切に大域的に制限することを提案する。 外観生成には、プロンプトエンジニアリングによって強化された拡散モデルを用いて物理ベースのレンダリングパイプラインを誘導する。
  論文  参考訳（メタデータ） (2023-12-13T14:48:35Z)
• Reality's Canvas, Language's Brush: Crafting 3D Avatars from Monocular Video [14.140380599168628]
  ReCaLaBは、単一のRGBビデオから高忠実な3Dアバターを学習するパイプラインだ。 ポーズ条件のNeRFは、人間の対象を標準的T目的で容積的に表現するように最適化される。 これにより、画像条件付き拡散モデルにより、3Dアバターの外観とポーズをアニメーション化し、これまで見えなかった人間の動きを伴う映像シーケンスを作成することができる。
  論文  参考訳（メタデータ） (2023-12-08T01:53:06Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。