論文の概要: DreamControl: Control-Based Text-to-3D Generation with 3D Self-Prior
- arxiv url: http://arxiv.org/abs/2312.06439v2
- Date: Tue, 12 Mar 2024 09:47:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 01:02:32.545994
- Title: DreamControl: Control-Based Text-to-3D Generation with 3D Self-Prior
- Title（参考訳）: dreamcontrol: 3d自己優先による制御ベースのテキストから3d生成
- Authors: Tianyu Huang, Yihan Zeng, Zhilu Zhang, Wan Xu, Hang Xu, Songcen Xu,
Rynson W. H. Lau, Wangmeng Zuo
- Abstract要約: 本稿では,DreamControlという2段階の2Dリフトフレームワークを提案する。
制御ベースのスコア蒸留による微粒なオブジェクトを生成する。
DreamControlは、幾何学的一貫性とテクスチャ忠実度の両方の観点から、高品質な3Dコンテンツを生成することができる。
- 参考スコア（独自算出の注目度）: 97.694840981611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D generation has raised great attention in recent years. With the success of
text-to-image diffusion models, the 2D-lifting technique becomes a promising
route to controllable 3D generation. However, these methods tend to present
inconsistent geometry, which is also known as the Janus problem. We observe
that the problem is caused mainly by two aspects, i.e., viewpoint bias in 2D
diffusion models and overfitting of the optimization objective. To address it,
we propose a two-stage 2D-lifting framework, namely DreamControl, which
optimizes coarse NeRF scenes as 3D self-prior and then generates fine-grained
objects with control-based score distillation. Specifically, adaptive viewpoint
sampling and boundary integrity metric are proposed to ensure the consistency
of generated priors. The priors are then regarded as input conditions to
maintain reasonable geometries, in which conditional LoRA and weighted score
are further proposed to optimize detailed textures. DreamControl can generate
high-quality 3D content in terms of both geometry consistency and texture
fidelity. Moreover, our control-based optimization guidance is applicable to
more downstream tasks, including user-guided generation and 3D animation. The
project page is available at https://github.com/tyhuang0428/DreamControl.
- Abstract（参考訳）: 3D世代は近年大きな注目を集めている。
テキストと画像の拡散モデルの成功により、2Dリフト技術は制御可能な3D生成への有望な経路となる。
しかし、これらの手法は矛盾した幾何学を示しがちであり、これはジャヌス問題としても知られている。
この問題は主に2次元拡散モデルにおける視点バイアスと最適化目標の過度適合という2つの側面によって引き起こされる。
そこで本研究では, 粗いNeRFシーンを3Dセルフプライアとして最適化し, 制御によるスコア蒸留により細粒度オブジェクトを生成する2段階の2DリフトフレームワークDreamControlを提案する。
具体的には, 適応的視点サンプリングと境界完全度メトリクスを提案する。
前者は適切な測地を維持するための入力条件と見なされ、より詳細なテクスチャを最適化するために条件付きLoRAと重み付けスコアがさらに提案される。
DreamControlは、幾何学的一貫性とテクスチャ忠実度の両方の観点から高品質な3Dコンテンツを生成することができる。
さらに、制御に基づく最適化ガイダンスは、ユーザ誘導生成や3Dアニメーションを含むより下流のタスクに適用できる。
プロジェクトページはhttps://github.com/tyhuang0428/dreamcontrol.comで閲覧できる。
関連論文リスト
- Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳（メタデータ） (2024-03-14T07:39:59Z) - Retrieval-Augmented Score Distillation for Text-to-3D Generation [30.57225047257049]
テキストから3D生成における検索に基づく品質向上のための新しいフレームワークを提案する。
我々はReDreamが幾何整合性を高めて優れた品質を示すことを示すために広範な実験を行った。
論文 参考訳（メタデータ） (2024-02-05T12:50:30Z) - X-Dreamer: Creating High-quality 3D Content by Bridging the Domain Gap Between Text-to-2D and Text-to-3D Generation [61.48050470095969]
X-Dreamerは高品質なテキストから3Dコンテンツを作成するための新しいアプローチである。
テキスト対2D合成とテキスト対3D合成のギャップを埋める。
論文 参考訳（メタデータ） (2023-11-30T07:23:00Z) - MetaDreamer: Efficient Text-to-3D Creation With Disentangling Geometry
and Texture [1.5601951993287981]
リッチな2Dおよび3D事前知識を活用する2段階最適化アプローチであるMetaDreammerを紹介する。
第一段階では、3Dオブジェクトの多視点整合性と精度を確保するため、幾何学的表現の最適化に重点を置いている。
第2段階では、幾何学の微調整とテクスチャの最適化に集中し、より洗練された3Dオブジェクトを実現する。
論文 参考訳（メタデータ） (2023-11-16T11:35:10Z) - EfficientDreamer: High-Fidelity and Robust 3D Creation via Orthogonal-view Diffusion Prior [59.25950280610409]
直交ビュー画像誘導を利用した高画質な3Dコンテンツ生成パイプラインを提案する。
本稿では,与えられたテキストプロンプトに基づいて4つのサブイメージからなる画像を生成する2次元拡散モデルを提案する。
また,生成した3Dコンテンツの詳細をさらに改善する3D合成ネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-25T07:39:26Z) - Magic123: One Image to High-Quality 3D Object Generation Using Both 2D
and 3D Diffusion Priors [104.79392615848109]
Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。
最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。
第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
論文 参考訳（メタデータ） (2023-06-30T17:59:08Z) - CGOF++: Controllable 3D Face Synthesis with Conditional Generative
Occupancy Fields [52.14985242487535]
生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。
中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。
提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
論文 参考訳（メタデータ） (2022-11-23T19:02:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。