論文の概要: ExactDreamer: High-Fidelity Text-to-3D Content Creation via Exact Score Matching
- arxiv url: http://arxiv.org/abs/2405.15914v1
- Date: Fri, 24 May 2024 20:19:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 02:10:19.790584
- Title: ExactDreamer: High-Fidelity Text-to-3D Content Creation via Exact Score Matching
- Title（参考訳）: ExactDreamer: Exact Score Matchingによる高忠実テキストから3Dコンテンツ作成
- Authors: Yumin Zhang, Xingyu Miao, Haoran Duan, Bo Wei, Tejal Shah, Yang Long, Rajiv Ranjan,
- Abstract要約: 現在のアプローチは、しばしば3次元合成のために事前訓練された2次元拡散モデルを適用する。
過剰な平滑化は、3Dモデルの高忠実度生成に重大な制限をもたらす。
LucidDreamer は SDS における Denoising Diffusion Probabilistic Model (DDPM) を Denoising Diffusion Implicit Model (DDIM) に置き換える
- 参考スコア（独自算出の注目度）: 10.362259643427526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-3D content creation is a rapidly evolving research area. Given the scarcity of 3D data, current approaches often adapt pre-trained 2D diffusion models for 3D synthesis. Among these approaches, Score Distillation Sampling (SDS) has been widely adopted. However, the issue of over-smoothing poses a significant limitation on the high-fidelity generation of 3D models. To address this challenge, LucidDreamer replaces the Denoising Diffusion Probabilistic Model (DDPM) in SDS with the Denoising Diffusion Implicit Model (DDIM) to construct Interval Score Matching (ISM). However, ISM inevitably inherits inconsistencies from DDIM, causing reconstruction errors during the DDIM inversion process. This results in poor performance in the detailed generation of 3D objects and loss of content. To alleviate these problems, we propose a novel method named Exact Score Matching (ESM). Specifically, ESM leverages auxiliary variables to mathematically guarantee exact recovery in the DDIM reverse process. Furthermore, to effectively capture the dynamic changes of the original and auxiliary variables, the LoRA of a pre-trained diffusion model implements these exact paths. Extensive experiments demonstrate the effectiveness of ESM in text-to-3D generation, particularly highlighting its superiority in detailed generation.
- Abstract（参考訳）: テキストから3Dコンテンツの作成は、急速に発展している研究分野である。
3次元データの不足を考えると、現在のアプローチはしばしば3次元合成のために事前訓練された2次元拡散モデルを適用する。
これらの手法の中で、スコア蒸留サンプリング(SDS)が広く採用されている。
しかし、過度な平滑化の問題は、3Dモデルの高忠実度生成に重大な制限をもたらす。
この課題に対処するため、LucidDreamer は SDS の Denoising Diffusion Probabilistic Model (DDPM) を Denoising Diffusion Implicit Model (DDIM) に置き換え、Interval Score Matching (ISM) を構築する。
しかし、IDMは必然的にDDIMから不整合を継承し、DDIM逆転過程の再構築エラーを引き起こす。
これにより、3Dオブジェクトの詳細な生成やコンテンツの欠落といったパフォーマンスが低下する。
これらの問題を緩和するために,エクササイズスコアマッチング (Exact Score Matching, ESM) という新しい手法を提案する。
具体的には、EDMは補助変数を利用してDDIM逆過程の正確な回復を数学的に保証する。
さらに、元の変数と補助変数の動的変化を効果的に捉えるために、事前学習された拡散モデルのLoRAはこれらの正確な経路を実装している。
テキスト・ツー・3D生成におけるESMの有効性を示す大規模な実験は、特に詳細な生成におけるESMの優位性を強調している。
関連論文リスト
- VividDreamer: Invariant Score Distillation For Hyper-Realistic Text-to-3D Generation [33.05759961083337]
Invariant Score Distillation (ISD) を提案する。
ISDは、スコア蒸留サンプリング(SDS)における過飽和および過平滑化問題に対処することを目的としている。
論文 参考訳（メタデータ） (2024-07-13T09:33:16Z) - VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。
PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。
そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
論文 参考訳（メタデータ） (2024-06-21T08:21:52Z) - Score Distillation via Reparametrized DDIM [14.754513907729878]
スコア蒸留サンプリングで用いられる画像誘導は, 2次元デノベーション生成過程の速度場として理解できることを示す。
本研究では,SDS更新ステップ毎にDDIMを反転させることにより,より優れたノイズ近似を復元可能であることを示す。
本手法は、他の最先端のスコア蒸留法と比較して、より良く、あるいは類似した3D生成品質を実現する。
論文 参考訳（メタデータ） (2024-05-24T19:22:09Z) - Flow Score Distillation for Diverse Text-to-3D Generation [23.38418695449777]
フロースコア蒸留(FSD)は品質を損なうことなく生成の多様性を大幅に向上させる。
各種テキスト・画像拡散モデルを用いた検証実験により、FSDは品質を損なうことなく、生成の多様性を大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-05-16T06:05:16Z) - FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with
Pre-trained Vision-Language Models [62.663113296987085]
クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。
冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。
既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
論文 参考訳（メタデータ） (2023-12-28T14:52:07Z) - Learn to Optimize Denoising Scores for 3D Generation: A Unified and
Improved Diffusion Prior on NeRF and 3D Gaussian Splatting [60.393072253444934]
本稿では,3次元生成タスクの拡散先行性向上を目的とした統合フレームワークを提案する。
拡散先行と拡散モデルの訓練手順の相違を同定し、3次元生成の質を著しく損なう。
論文 参考訳（メタデータ） (2023-12-08T03:55:34Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳（メタデータ） (2023-12-02T02:27:58Z) - LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval
Score Matching [33.696757740830506]
テキストから3D生成の最近の進歩は、将来性を示している。
多くの手法がSDS(Score Distillation Sampling)に基づいている。
オーバー・スムーシングに対抗するために,ISM(Interval Score Matching)を提案する。
論文 参考訳（メタデータ） (2023-11-19T09:59:09Z) - Out-of-Domain Human Mesh Reconstruction via Dynamic Bilevel Online
Adaptation [87.85851771425325]
我々は、人間のメッシュ再構成モデルをドメイン外ストリーミングビデオに適用する際の新しい問題を考える。
オンライン適応によってこの問題に対処し、テスト中のモデルのバイアスを徐々に修正します。
動的バイレベルオンライン適応アルゴリズム(DynaBOA)を提案する。
論文 参考訳（メタデータ） (2021-11-07T07:23:24Z) - Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D
Human Pose Estimation [107.07047303858664]
3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。
既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。
結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
論文 参考訳（メタデータ） (2020-04-07T20:21:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。