論文の概要: Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion

• arxiv url: http://arxiv.org/abs/2212.06135v1
• Date: Mon, 12 Dec 2022 18:59:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 17:04:49.850476
• Title: Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion
• Title（参考訳）: Rodin:拡散を利用した3Dデジタルアバターの創成モデル
• Authors: Tengfei Wang, Bo Zhang, Ting Zhang, Shuyang Gu, Jianmin Bao, Tadas Baltrusaitis, Jingjing Shen, Dong Chen, Fang Wen, Qifeng Chen, Baining Guo
• Abstract要約: 本稿では,拡散モデルを用いて3次元デジタルアバターを自動的に生成する3次元生成モデルを提案する。 3Dのメモリと処理コストは、高品質なアバターに必要な豊富な細部を生産することを禁じられている。 私たちは、リアルな髪型とひげのような顔の毛を持つ非常に詳細なアバターを作ることができます。
• 参考スコア（独自算出の注目度）: 66.26780039133122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a 3D generative model that uses diffusion models to automatically generate 3D digital avatars represented as neural radiance fields. A significant challenge in generating such avatars is that the memory and processing costs in 3D are prohibitive for producing the rich details required for high-quality avatars. To tackle this problem we propose the roll-out diffusion network (Rodin), which represents a neural radiance field as multiple 2D feature maps and rolls out these maps into a single 2D feature plane within which we perform 3D-aware diffusion. The Rodin model brings the much-needed computational efficiency while preserving the integrity of diffusion in 3D by using 3D-aware convolution that attends to projected features in the 2D feature plane according to their original relationship in 3D. We also use latent conditioning to orchestrate the feature generation for global coherence, leading to high-fidelity avatars and enabling their semantic editing based on text prompts. Finally, we use hierarchical synthesis to further enhance details. The 3D avatars generated by our model compare favorably with those produced by existing generative techniques. We can generate highly detailed avatars with realistic hairstyles and facial hair like beards. We also demonstrate 3D avatar generation from image or text as well as text-guided editability.
• Abstract（参考訳）: 本稿では,拡散モデルを用いて神経放射場を表す3次元デジタルアバターを自動生成する3次元生成モデルを提案する。 このようなアバターを生成する上での重大な課題は、3dのメモリと処理コストが高品質アバターに必要なリッチなディテールを生成できることである。 この問題を解決するために,複数の2次元特徴写像として神経放射場を表すロールアウト拡散ネットワーク (Rodin) を提案し,これらのマップを1つの2次元特徴平面にロールアウトして3次元拡散を行う。 Rodinモデルでは、3Dにおける拡散の完全性を維持しつつ、3Dにおける元の関係に従って2D特徴面の投影された特徴に付随する3D認識畳み込みを用いて計算効率を向上する。 我々はまた,グローバルコヒーレンスのための特徴生成のオーケストレーションに潜時条件付けを使用し,高忠実度アバターを実現し,テキストプロンプトに基づく意味的な編集を可能にする。 最後に,階層合成を用いてさらに詳細化を行う。 モデルにより生成された3Dアバターは,既存の生成技術とよく比較できる。 リアルな髪型とあごひげのような顔の毛を持つ、非常に詳細なアバターを生成できる。 また,画像やテキストからの3dアバター生成や,テキストガイドによる編集性を示す。

関連論文リスト

• DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion [69.67970568012599]
  テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。 このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。 我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
  論文  参考訳（メタデータ） (2024-09-25T17:59:45Z)
• RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models [56.13752698926105]
  ポートレート画像から高忠実度3Dアバターを生成できるRodinHDを提案する。 我々はまず、多くのアバターに連続して三葉飛行機を取り付けたときに生じる破滅的な忘れの問題を特定する。 本研究では, より微細な階層表現を演算し, リッチな2次元テクスチャキューを捕捉し, 複数層での3次元拡散モデルに注入することにより, ポートレート画像の導出効果を最適化する。 三葉機用に最適化されたノイズスケジュールを持つ46Kアバターでトレーニングを行うと、得られたモデルは従来の方法よりも顕著な詳細で3Dアバターを生成することができ、内蔵機器に一般化することができる。
  論文  参考訳（メタデータ） (2024-07-09T15:14:45Z)
• Human 3Diffusion: Realistic Avatar Creation via Explicit 3D Consistent Diffusion Models [29.73743772971411]
  人間の3次元拡散: 明示的な3次元連続拡散による現実的なアバター創造を提案する。 我々の重要な洞察は、2次元多視点拡散と3次元再構成モデルが相互に補完情報を提供するということである。 提案するフレームワークは,最先端の手法より優れ,単一のRGB画像から現実的なアバターを作成することができる。
  論文  参考訳（メタデータ） (2024-06-12T17:57:25Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• Chupa: Carving 3D Clothed Humans from Skinned Shape Priors using 2D Diffusion Probabilistic Models [9.479195068754507]
  拡散モデルを用いてリアルな人間のデジタルアバターを生成する3D生成パイプラインを提案する。 われわれの方法であるChupaは、知覚的品質とアイデンティティの多様性を向上したリアルな3D衣服を作成できる。
  論文  参考訳（メタデータ） (2023-05-19T17:59:18Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。