論文の概要: LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval
Score Matching
- arxiv url: http://arxiv.org/abs/2311.11284v3
- Date: Sat, 2 Dec 2023 02:57:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 21:26:12.537068
- Title: LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval
Score Matching
- Title(参考訳): luciddreamer: インターバルスコアマッチングによる高忠実度テキスト対3d生成に向けて
- Authors: Yixun Liang, Xin Yang, Jiantao Lin, Haodong Li, Xiaogang Xu, Yingcong
Chen
- Abstract要約: テキストから3D生成の最近の進歩は、将来性を示している。
多くの手法がSDS(Score Distillation Sampling)に基づいている。
オーバー・スムーシングに対抗するために,ISM(Interval Score Matching)を提案する。
- 参考スコア(独自算出の注目度): 33.696757740830506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent advancements in text-to-3D generation mark a significant milestone
in generative models, unlocking new possibilities for creating imaginative 3D
assets across various real-world scenarios. While recent advancements in
text-to-3D generation have shown promise, they often fall short in rendering
detailed and high-quality 3D models. This problem is especially prevalent as
many methods base themselves on Score Distillation Sampling (SDS). This paper
identifies a notable deficiency in SDS, that it brings inconsistent and
low-quality updating direction for the 3D model, causing the over-smoothing
effect. To address this, we propose a novel approach called Interval Score
Matching (ISM). ISM employs deterministic diffusing trajectories and utilizes
interval-based score matching to counteract over-smoothing. Furthermore, we
incorporate 3D Gaussian Splatting into our text-to-3D generation pipeline.
Extensive experiments show that our model largely outperforms the
state-of-the-art in quality and training efficiency.
- Abstract(参考訳): テキスト3d生成の最近の進歩は、様々な現実世界のシナリオにまたがって想像力のある3dアセットを作成する新たな可能性を開くことによって、生成モデルにおける重要なマイルストーンとなった。
テキスト3d生成の最近の進歩は期待されているものの、詳細な高品質な3dモデルのレンダリングには不足していることが多い。
多くのメソッドがSDS(Score Distillation Sampling)に基づいているため、この問題は特に顕著である。
本稿では3次元モデルに不整合かつ低品質な更新方向をもたらし、過度なスムーシング効果をもたらすSDSの顕著な欠陥を同定する。
そこで我々は,ISM (Interval Score Matching) と呼ばれる新しい手法を提案する。
ISMは決定論的拡散軌道を用いており、間隔ベースのスコアマッチングを用いてオーバー・スムーシングに対抗する。
さらに、テキストから3D生成パイプラインに3Dガウススプラッティングを組み込む。
大規模な実験により、我々のモデルは品質と訓練効率の最先端性を大きく上回ることがわかった。
関連論文リスト
- 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。
提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
論文 参考訳(メタデータ) (2024-03-14T14:31:22Z) - Hyper-3DG: Text-to-3D Gaussian Generation via Hypergraph [20.488040789522604]
本稿では,ハイパーグラフ(Hyper-3DG)を用いた3次元ガウス生成法を提案する。
本フレームワークは, 凝集度を最適化し, 劣化を効果的に回避し, 微細に生成した3Dオブジェクトの創出を可能にする。
論文 参考訳(メタデータ) (2024-03-14T09:59:55Z) - Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - IM-3D: Iterative Multiview Diffusion and Reconstruction for High-Quality
3D Generation [96.32684334038278]
本稿では,テキスト・ツー・3Dモデルの設計空間について検討する。
画像生成装置の代わりに映像を考慮し、マルチビュー生成を大幅に改善する。
IM-3Dは,2次元ジェネレータネットワーク10-100xの評価回数を削減する。
論文 参考訳(メタデータ) (2024-02-13T18:59:51Z) - Retrieval-Augmented Score Distillation for Text-to-3D Generation [32.105318004273]
テキストから3D生成における検索に基づく品質向上のための新しいフレームワークを提案する。
我々はRetDreamが幾何整合性を高めて優れた品質を示すことを示すために広範な実験を行った。
論文 参考訳(メタデータ) (2024-02-05T12:50:30Z) - BoostDream: Efficient Refining for High-Quality Text-to-3D Generation
from Multi-View Diffusion [0.0]
BoostDreamは、粗い3D資産を高品質に変換するために設計された、高効率なプラグアンドプレイ3D精製手法である。
本研究では, フィードフォワード生成により得られた3次元アセットと異なる表現に適合する3次元モデル蒸留を導入する。
新たな多視点SDS損失を設計し、多視点認識2次元拡散モデルを用いて3次元資産を洗練させる。
論文 参考訳(メタデータ) (2024-01-30T05:59:00Z) - AnimatableDreamer: Text-Guided Non-rigid 3D Model Generation and
Reconstruction with Canonical Score Distillation [24.765210852545426]
モノクロ映像から多種多様な非剛体オブジェクトを生成できるテキストから4D生成フレームワークを提案する。
AnimatableDreamerは、Canonical Score Distillationと呼ばれる新しい最適化設計を備えています。
本実験は,モノクロ映像から高柔軟性テキスト誘導型3Dモデルを生成する際の本手法の有効性を実証するものである。
論文 参考訳(メタデータ) (2023-12-06T14:13:54Z) - TPA3D: Triplane Attention for Fast Text-to-3D Generation [30.951440204237166]
テキスト誘導型3次元生成(TPA3D)のためのトライプレーンアテンションを提案する。
TPA3Dは、高速テキストから3D生成のための、エンドツーエンドのトレーニング可能なGANベースのディープラーニングモデルである。
TPA3Dは, きめ細かい記述と整合した高品質な3次元テクスチャ形状を生成する。
論文 参考訳(メタデータ) (2023-12-05T10:39:37Z) - Instant3D: Instant Text-to-3D Generation [106.33316090614322]
Instant3Dと呼ばれる高速テキストから3D生成のための新しいフレームワークを提案する。
テキストプロンプトから3次元の3次元平面を直接構築する新しいネットワークを考案することで、この顕著なスピードを実現する。
また,従来のシグモイド関数を置き換えるために,簡易かつ効果的なシグモイド活性化関数を提案する。
論文 参考訳(メタデータ) (2023-11-14T18:59:59Z) - T$^3$Bench: Benchmarking Current Progress in Text-to-3D Generation [53.986321389412154]
テキストから3Dへの手法は、強力な事前学習拡散モデルを利用してNeRFを最適化する。
ほとんどの研究は、主観的なケーススタディとユーザ実験で結果を評価している。
最初の総合的なテキスト・ツー・3DベンチマークであるT$3$Benchを紹介する。
論文 参考訳(メタデータ) (2023-10-04T17:12:18Z) - Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D
Human Pose Estimation [107.07047303858664]
3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。
既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。
結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
論文 参考訳(メタデータ) (2020-04-07T20:21:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。