論文の概要: RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models

• arxiv url: http://arxiv.org/abs/2407.06938v2
• Date: Thu, 11 Jul 2024 03:46:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 11:33:49.123920
• Title: RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models
• Title（参考訳）: RodinHD:拡散モデルによる高忠実度3Dアバター生成
• Authors: Bowen Zhang, Yiji Cheng, Chunyu Wang, Ting Zhang, Jiaolong Yang, Yansong Tang, Feng Zhao, Dong Chen, Baining Guo,
• Abstract要約: ポートレート画像から高忠実度3Dアバターを生成できるRodinHDを提案する。 我々はまず、多くのアバターに連続して三葉飛行機を取り付けたときに生じる破滅的な忘れの問題を特定する。 本研究では, より微細な階層表現を演算し, リッチな2次元テクスチャキューを捕捉し, 複数層での3次元拡散モデルに注入することにより, ポートレート画像の導出効果を最適化する。 三葉機用に最適化されたノイズスケジュールを持つ46Kアバターでトレーニングを行うと、得られたモデルは従来の方法よりも顕著な詳細で3Dアバターを生成することができ、内蔵機器に一般化することができる。
• 参考スコア（独自算出の注目度）: 56.13752698926105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present RodinHD, which can generate high-fidelity 3D avatars from a portrait image. Existing methods fail to capture intricate details such as hairstyles which we tackle in this paper. We first identify an overlooked problem of catastrophic forgetting that arises when fitting triplanes sequentially on many avatars, caused by the MLP decoder sharing scheme. To overcome this issue, we raise a novel data scheduling strategy and a weight consolidation regularization term, which improves the decoder's capability of rendering sharper details. Additionally, we optimize the guiding effect of the portrait image by computing a finer-grained hierarchical representation that captures rich 2D texture cues, and injecting them to the 3D diffusion model at multiple layers via cross-attention. When trained on 46K avatars with a noise schedule optimized for triplanes, the resulting model can generate 3D avatars with notably better details than previous methods and can generalize to in-the-wild portrait input.
• Abstract（参考訳）: ポートレート画像から高忠実度3Dアバターを生成できるRodinHDを提案する。 既存の手法では,本論文で取り組んだヘアスタイルのような複雑な細部を捉えることができない。 我々はまず,MLPデコーダ共有方式により,複数のアバターに連続的に三葉飛行機を取り付けたときに発生する破滅的忘れの問題を明らかにする。 この問題を解決するために、よりシャープな詳細を描画するデコーダの能力を向上する新しいデータスケジューリング戦略と重み付け正規化項を提起する。 さらに,より微細な階層表現を計算し,リッチな2次元テクスチャキューをキャプチャし,複数の層での3次元拡散モデルに注入することにより,ポートレート画像の導出効果を最適化する。 三葉機用に最適化されたノイズスケジュールを持つ46Kアバターでトレーニングを行うと、得られたモデルは従来の方法よりも顕著に詳細な3Dアバターを生成することができ、幅内ポートレート入力に一般化することができる。

関連論文リスト

• DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion [69.67970568012599]
  テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。 このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。 我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
  論文  参考訳（メタデータ） (2024-09-25T17:59:45Z)
• One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation [31.310769289315648]
  本稿では,1ユーザあたり1枚または数枚の画像のみを利用した高品質なヘッドアバターを作成するための新しいアプローチを提案する。 我々は2407名の被験者から多視点の表情データセットから3次元アニマタブルなフォトリアリスティックヘッドアバターの生成モデルを学習した。 提案手法は,従来のアバター適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-19T07:48:29Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane Rendering [81.55960827071661]
  制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。 汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T09:12:03Z)
• Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion [66.26780039133122]
  本稿では,拡散モデルを用いて3次元デジタルアバターを自動的に生成する3次元生成モデルを提案する。 3Dのメモリと処理コストは、高品質なアバターに必要な豊富な細部を生産することを禁じられている。 私たちは、リアルな髪型とひげのような顔の毛を持つ非常に詳細なアバターを作ることができます。
  論文  参考訳（メタデータ） (2022-12-12T18:59:40Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。