論文の概要: DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

• arxiv url: http://arxiv.org/abs/2310.16818v1
• Date: Wed, 25 Oct 2023 17:50:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 13:12:39.817153
• Title: DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior
• Title（参考訳）: DreamCraft3D: ブートストラップ付き拡散による階層型3D生成
• Authors: Jingxiang Sun and Bo Zhang and Ruizhi Shao and Lizhen Wang and Wen Liu and Zhenda Xie and Yebin Liu
• Abstract要約: 本稿では,高忠実でコヒーレントな3Dオブジェクトを生成する階層型3Dコンテンツ生成手法であるDreamCraft3Dを提案する。 幾何学的彫刻とテクスチャ強化の段階をガイドするために, 2次元参照画像を活用することで, この問題に対処する。 階層的な世代を通して調整された3Dプリエントにより、DreamCraft3Dはフォトリアリスティックなレンダリングを備えたコヒーレントな3Dオブジェクトを生成する。
• 参考スコア（独自算出の注目度）: 40.67100127167502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present DreamCraft3D, a hierarchical 3D content generation method that produces high-fidelity and coherent 3D objects. We tackle the problem by leveraging a 2D reference image to guide the stages of geometry sculpting and texture boosting. A central focus of this work is to address the consistency issue that existing works encounter. To sculpt geometries that render coherently, we perform score distillation sampling via a view-dependent diffusion model. This 3D prior, alongside several training strategies, prioritizes the geometry consistency but compromises the texture fidelity. We further propose Bootstrapped Score Distillation to specifically boost the texture. We train a personalized diffusion model, Dreambooth, on the augmented renderings of the scene, imbuing it with 3D knowledge of the scene being optimized. The score distillation from this 3D-aware diffusion prior provides view-consistent guidance for the scene. Notably, through an alternating optimization of the diffusion prior and 3D scene representation, we achieve mutually reinforcing improvements: the optimized 3D scene aids in training the scene-specific diffusion model, which offers increasingly view-consistent guidance for 3D optimization. The optimization is thus bootstrapped and leads to substantial texture boosting. With tailored 3D priors throughout the hierarchical generation, DreamCraft3D generates coherent 3D objects with photorealistic renderings, advancing the state-of-the-art in 3D content generation. Code available at https://github.com/deepseek-ai/DreamCraft3D.
• Abstract（参考訳）: 高度でコヒーレントな3dオブジェクトを生成する階層的3dコンテンツ生成手法dreamcraft3dを提案する。 本研究では2次元参照画像を利用して幾何学的彫刻とテクスチャ強化の段階を導出する。 この作業の中心は、既存の作業が遭遇する一貫性の問題に対処することである。 コヒーレントにレンダリングするジオメトリを彫刻するために,ビュー依存拡散モデルを用いてスコア蒸留サンプリングを行う。 この3D事前は、いくつかのトレーニング戦略とともに、幾何整合性を優先するが、テクスチャの忠実度を損なう。 さらに, テクスチャを特に増強するBootstrapped Score Distillationを提案する。 そこで我々は,シーンの付加的なレンダリングにパーソナライズされた拡散モデルdreamboothを訓練し,シーンの最適化に関する3d知識を付与する。 この3D対応拡散によるスコアの蒸留は、シーンに対するビュー一貫性のあるガイダンスを提供する。 特に,拡散前の3次元シーン表現と3次元シーン表現を交互に最適化することにより,シーン固有の拡散モデルのトレーニングにおける最適化された3次元シーンアシストという相互強化を実現する。 最適化はブートストラップされ、テクスチャが大幅に向上する。 階層的生成を通じて3dプリエントをカスタマイズすることで、dreamcraft3dはコヒーレントな3dオブジェクトをフォトリアリスティックなレンダリングで生成し、3dコンテンツ生成の最先端を前進させる。 コードはhttps://github.com/deepseek-ai/dreamcraft3d。

関連論文リスト

• ScalingGaussian: Enhancing 3D Content Creation with Generative Gaussian Splatting [30.99112626706754]
  高品質な3Dアセットの作成は、デジタル遺産、エンターテイメント、ロボット工学の応用において最重要である。 伝統的に、このプロセスはモデリングに熟練した専門家と専門的なソフトウェアを必要とする。 本稿では,3Dテクスチャを効率的に生成する新しい3Dコンテンツ作成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-26T18:26:01Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D Prior [52.44678180286886]
  2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。 提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
  論文  参考訳（メタデータ） (2023-12-11T18:59:18Z)
• Text-to-3D using Gaussian Splatting [18.163413810199234]
  本稿では,最新の最先端表現であるガウススプラッティングをテキストから3D生成に適用する新しい手法であるGSGENを提案する。 GSGENは、高品質な3Dオブジェクトを生成し、ガウススティングの明示的な性質を活用することで既存の欠点に対処することを目的としている。 我々の手法は繊細な細部と正確な形状で3Dアセットを生成することができる。
  論文  参考訳（メタデータ） (2023-09-28T16:44:31Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion Prior [36.40582157854088]
  本研究では,1枚の画像のみから高忠実度3Dコンテンツを作成する問題について検討する。 我々は、よく訓練された2D拡散モデルからの事前知識を活用し、3D生成のための3D認識監視として機能する。 本手法は,汎用オブジェクトの単一画像から高品質な3D作成を実現するための最初の試みであり,テキスト・ツー・3D作成やテクスチャ編集などの様々な応用を可能にする。
  論文  参考訳（メタデータ） (2023-03-24T17:54:22Z)
• GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images [72.15855070133425]
  本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。 GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T17:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。