論文の概要: Connecting Consistency Distillation to Score Distillation for Text-to-3D Generation
- arxiv url: http://arxiv.org/abs/2407.13584v1
- Date: Thu, 18 Jul 2024 15:25:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 14:51:11.025682
- Title: Connecting Consistency Distillation to Score Distillation for Text-to-3D Generation
- Title（参考訳）: テキストから3次元生成のための連続蒸留とスコア蒸留の接続
- Authors: Zongrui Li, Minghui Hu, Qian Zheng, Xudong Jiang,
- Abstract要約: 本研究では, 整合蒸留理論とスコア蒸留理論を結合させることにより, 現行のスコア蒸留法を解析した。
本稿では,これらの問題を緩和するための最適化フレームワークであるGCS( Guided Consistency Sampling)を3D Gaussian Splatting (3DGS)と統合して提案する。
本稿では,この問題を緩和するために,BEG方式を3DGSレンダリングに導入する。
- 参考スコア（独自算出の注目度）: 32.52588154649761
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although recent advancements in text-to-3D generation have significantly improved generation quality, issues like limited level of detail and low fidelity still persist, which requires further improvement. To understand the essence of those issues, we thoroughly analyze current score distillation methods by connecting theories of consistency distillation to score distillation. Based on the insights acquired through analysis, we propose an optimization framework, Guided Consistency Sampling (GCS), integrated with 3D Gaussian Splatting (3DGS) to alleviate those issues. Additionally, we have observed the persistent oversaturation in the rendered views of generated 3D assets. From experiments, we find that it is caused by unwanted accumulated brightness in 3DGS during optimization. To mitigate this issue, we introduce a Brightness-Equalized Generation (BEG) scheme in 3DGS rendering. Experimental results demonstrate that our approach generates 3D assets with more details and higher fidelity than state-of-the-art methods. The codes are released at https://github.com/LMozart/ECCV2024-GCS-BEG.
- Abstract（参考訳）: 近年のテキスト・ツー・3D生成の進歩は、生成品質を著しく向上させたが、詳細度の制限や忠実度の低さといった問題は引き続き持続しており、さらなる改善が必要である。
これらの問題の本質を理解するため, 整合蒸留の理論を結合させて, スコア蒸留法を徹底的に分析した。
解析によって得られた知見に基づいて,これらの問題を緩和するために3Dガウススプラッティング(3DGS)と統合されたGCS ( Guided Consistency Sampling) という最適化フレームワークを提案する。
さらに,生成した3D資産のレンダリングビューにおいて,持続的な過飽和が観察された。
実験の結果,3DGSの最適化時に不要な蓄積輝度が原因であることが判明した。
この問題を軽減するため、3DGSレンダリングにおいてBEG(Brightness-Equalized Generation)方式を導入する。
実験により,本手法は最先端手法よりも細部と忠実度の高い3Dアセットを生成することが示された。
コードはhttps://github.com/LMozart/ECCV2024-GCS-BEGで公開されている。
関連論文リスト
- MVG-Splatting: Multi-View Guided Gaussian Splatting with Adaptive Quantile-Based Geometric Consistency Densification [8.099621725105857]
マルチビューを考慮したソリューションであるMVG-Splattingを紹介する。
付加的な密度化のレベルを動的に決定する適応的量子化法を提案する。
このアプローチは3次元再構成プロセス全体の忠実度と精度を大幅に向上させる。
論文 参考訳（メタデータ） (2024-07-16T15:24:01Z) - Geometry-Aware Score Distillation via 3D Consistent Noising and Gradient Consistency Modeling [31.945761751215134]
我々は,3次元一貫したノイズ発生,幾何に基づく勾配のゆらぎ,新しい勾配のゆらぎの損失を導入する。
我々は,テキスト・ツー・3次元生成タスクにおける幾何学的不整合を最小限のコストで解決し,既存のスコア蒸留モデルとの整合性を実現した。
論文 参考訳（メタデータ） (2024-06-24T14:58:17Z) - VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。
PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。
そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
論文 参考訳（メタデータ） (2024-06-21T08:21:52Z) - LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。
実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
論文 参考訳（メタデータ） (2024-05-29T05:58:34Z) - DoGaussian: Distributed-Oriented Gaussian Splatting for Large-Scale 3D Reconstruction Via Gaussian Consensus [56.45194233357833]
DoGaussianは3DGSを分散的に訓練する方法である。
大規模シーンで評価すると,3DGSのトレーニングを6回以上高速化する。
論文 参考訳（メタデータ） (2024-05-22T19:17:58Z) - AbsGS: Recovering Fine Details for 3D Gaussian Splatting [10.458776364195796]
3D Gaussian Splatting (3D-GS) 技術は3Dプリミティブを相違可能なガウス化と組み合わせて高品質な新規ビュー結果を得る。
しかし、3D-GSは、高頻度の詳細を含む複雑なシーンで過度に再構成の問題に悩まされ、ぼやけた描画画像に繋がる。
本稿では,前述の人工物,すなわち勾配衝突の原因を包括的に分析する。
我々の戦略は過度に再構成された地域のガウス人を効果的に同定し、分割して細部を復元する。
論文 参考訳（メタデータ） (2024-04-16T11:44:12Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian
Splatting [57.80942520483354]
3D-GSはしばしば、特異成分と異方性成分を正確にモデル化するのに困難に直面する。
球面調和の代わりに異方性球面ガウス場を利用するアプローチであるSpec-Gaussianを導入する。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - Taming Mode Collapse in Score Distillation for Text-to-3D Generation [70.32101198891465]
Janus"アーティファクトはテキストから3D生成における問題であり、生成されたオブジェクトは複数のフロントフェイスで各ビューを偽装する。
エントロピースコア蒸留(Entropic Score Distillation, ESD)と呼ばれる新しい3Dスコア蒸留法を提案する。
恥ずかしいほど単純ではないが,我々はESDがJanusアーティファクトのスコア蒸留に有効であることを示す実験を行った。
論文 参考訳（メタデータ） (2023-12-31T22:47:06Z) - Stable Score Distillation for High-Quality 3D Generation [21.28421571320286]
SDS(Score Distillation Sampling)を,モード探索,モード分割,分散還元という3つの機能成分の組み合わせとして分解する。
両項の内在的欠失から, 過度なスムーズ性や不愉快性などの問題が生じることを示した。
本稿では,高品位な3次元生成のための各用語を戦略的にオーケストレーションする,SSD (Stable Score Distillation) というシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2023-12-14T19:18:38Z) - DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation [55.661467968178066]
本稿では,DreamGaussianを提案する。DreamGaussianは,効率と品質を両立させる新しい3Dコンテンツ生成フレームワークである。
我々の重要な洞察は、UV空間におけるメッシュ抽出とテクスチャ改善を伴う3次元ガウススプラッティングモデルを設計することである。
ニューラル・ラジアンス・フィールドにおける占有プルーニングとは対照的に、3次元ガウスの進行的な密度化は3次元生成タスクにおいて著しく速く収束することを示した。
論文 参考訳（メタデータ） (2023-09-28T17:55:05Z) - Text-to-3D using Gaussian Splatting [18.163413810199234]
本稿では,最新の最先端表現であるガウススプラッティングをテキストから3D生成に適用する新しい手法であるGSGENを提案する。
GSGENは、高品質な3Dオブジェクトを生成し、ガウススティングの明示的な性質を活用することで既存の欠点に対処することを目的としている。
我々の手法は繊細な細部と正確な形状で3Dアセットを生成することができる。
論文 参考訳（メタデータ） (2023-09-28T16:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。