論文の概要: MetaDreamer: Efficient Text-to-3D Creation With Disentangling Geometry and Texture

• arxiv url: http://arxiv.org/abs/2311.10123v1
• Date: Thu, 16 Nov 2023 11:35:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 15:52:44.204161
• Title: MetaDreamer: Efficient Text-to-3D Creation With Disentangling Geometry and Texture
• Title（参考訳）: MetaDreamer: 拡張幾何学とテクスチャを用いた効率的なテキストから3D作成
• Authors: Lincong Feng, Muyu Wang, Maoyu Wang, Kuo Xu, Xiaoli Liu
• Abstract要約: リッチな2Dおよび3D事前知識を活用する2段階最適化アプローチであるMetaDreammerを紹介する。 第一段階では、3Dオブジェクトの多視点整合性と精度を確保するため、幾何学的表現の最適化に重点を置いている。 第2段階では、幾何学の微調整とテクスチャの最適化に集中し、より洗練された3Dオブジェクトを実現する。
• 参考スコア（独自算出の注目度）: 1.5601951993287981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models for 3D object synthesis have seen significant advancements with the incorporation of prior knowledge distilled from 2D diffusion models. Nevertheless, challenges persist in the form of multi-view geometric inconsistencies and slow generation speeds within the existing 3D synthesis frameworks. This can be attributed to two factors: firstly, the deficiency of abundant geometric a priori knowledge in optimization, and secondly, the entanglement issue between geometry and texture in conventional 3D generation methods.In response, we introduce MetaDreammer, a two-stage optimization approach that leverages rich 2D and 3D prior knowledge. In the first stage, our emphasis is on optimizing the geometric representation to ensure multi-view consistency and accuracy of 3D objects. In the second stage, we concentrate on fine-tuning the geometry and optimizing the texture, thereby achieving a more refined 3D object. Through leveraging 2D and 3D prior knowledge in two stages, respectively, we effectively mitigate the interdependence between geometry and texture. MetaDreamer establishes clear optimization objectives for each stage, resulting in significant time savings in the 3D generation process. Ultimately, MetaDreamer can generate high-quality 3D objects based on textual prompts within 20 minutes, and to the best of our knowledge, it is the most efficient text-to-3D generation method. Furthermore, we introduce image control into the process, enhancing the controllability of 3D generation. Extensive empirical evidence confirms that our method is not only highly efficient but also achieves a quality level that is at the forefront of current state-of-the-art 3D generation techniques.
• Abstract（参考訳）: 3次元オブジェクト合成のための生成モデルは、2次元拡散モデルから抽出された事前知識を取り入れることで著しく進歩した。 それでも、課題は既存の3D合成フレームワークにおける多視点幾何学的不整合と遅い生成速度という形で持続する。 まず, 従来の3次元生成手法における幾何的事前知識の不足, および, 幾何とテクスチャの絡み合いという2つの要因に起因し, よりリッチな2次元および3次元事前知識を活用する2段階最適化手法であるメタドレーマーを導入する。 第一段階では、3Dオブジェクトの多視点整合性と精度を確保するため、幾何学的表現の最適化に重点を置いている。 第2段階では、幾何学の微調整とテクスチャの最適化に集中し、より洗練された3Dオブジェクトを実現する。 2次元と3次元の事前知識を2段階に活用することにより,幾何学とテクスチャの相互依存性を効果的に緩和する。 metadreamerは各ステージの明確な最適化目標を確立し、3d生成プロセスでかなりの時間を節約する。 最終的に、MetaDreamerは20分以内にテキストプロンプトに基づいて高品質な3Dオブジェクトを生成することができ、私たちの知る限り、最も効率的なテキスト・ツー・3D生成方法である。 さらに,このプロセスに画像制御を導入し,3次元生成の制御性を向上させる。 大規模な実証実験により,本手法は高効率であるだけでなく,現在最先端の3D生成技術の最前線にある品質レベルも達成できることが示された。

関連論文リスト

• Retrieval-Augmented Score Distillation for Text-to-3D Generation [30.57225047257049]
  テキストから3D生成における検索に基づく品質向上のための新しいフレームワークを提案する。 我々はReDreamが幾何整合性を高めて優れた品質を示すことを示すために広範な実験を行った。
  論文  参考訳（メタデータ） (2024-02-05T12:50:30Z)
• Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D Prior [52.44678180286886]
  2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。 提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
  論文  参考訳（メタデータ） (2023-12-11T18:59:18Z)
• Text-to-3D Generation with Bidirectional Diffusion using both 2D and 3D priors [16.93758384693786]
  双方向拡散(Bidirectional Diffusion、BiDiff)は、3次元と2次元の拡散プロセスの両方を組み込んだ統合フレームワークである。 我々のモデルは高品質で多種多様でスケーラブルな3D生成を実現する。
  論文  参考訳（メタデータ） (2023-12-07T10:00:04Z)
• X-Dreamer: Creating High-quality 3D Content by Bridging the Domain Gap Between Text-to-2D and Text-to-3D Generation [61.48050470095969]
  X-Dreamerは高品質なテキストから3Dコンテンツを作成するための新しいアプローチである。 テキスト対2D合成とテキスト対3D合成のギャップを埋める。
  論文  参考訳（メタデータ） (2023-11-30T07:23:00Z)
• GeoDream: Disentangling 2D and Geometric Priors for High-Fidelity and Consistent 3D Generation [66.46683554587352]
  そこで,GeoDreamは,2次元拡散プリエントを持つ明示的な一般化された3Dプリエントを組み込んだ新しい手法である。 具体的には,まず多視点拡散モデルを用いてポーズ画像を生成し,予測画像からコスト容積を構築する。 さらに,3次元の幾何学的先行性を利用して,不整合設計による2次元拡散先行性における3次元認識の大きな可能性を解き放つことを提案する。
  論文  参考訳（メタデータ） (2023-11-29T15:48:48Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。