論文の概要: SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via
Stein Identity
- arxiv url: http://arxiv.org/abs/2401.00604v1
- Date: Sun, 31 Dec 2023 23:04:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 16:46:00.639418
- Title: SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via
Stein Identity
- Title(参考訳): SteinDreamer:Stein Identityによるテキスト・ツー・3Dスコア蒸留の可変化
- Authors: Peihao Wang, Zhiwen Fan, Dejia Xu, Dilin Wang, Sreyas Mohan, Forrest
Iandola, Rakesh Ranjan, Yilei Li, Qiang Liu, Zhangyang Wang, Vikas Chandra
- Abstract要約: スコア蒸留における勾配推定は, 分散度が高いことが示唆された。
本稿では,Stin Score Distillation (SSD) と呼ばれる,スコア蒸留の分散を低減するための,より一般的な解を提案する。
我々はSteinDreamerがより安定した勾配更新により既存の方法よりも高速に収束できることを実証した。
- 参考スコア(独自算出の注目度): 72.0399904371326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score distillation has emerged as one of the most prevalent approaches for
text-to-3D asset synthesis. Essentially, score distillation updates 3D
parameters by lifting and back-propagating scores averaged over different
views. In this paper, we reveal that the gradient estimation in score
distillation is inherent to high variance. Through the lens of variance
reduction, the effectiveness of SDS and VSD can be interpreted as applications
of various control variates to the Monte Carlo estimator of the distilled
score. Motivated by this rethinking and based on Stein's identity, we propose a
more general solution to reduce variance for score distillation, termed Stein
Score Distillation (SSD). SSD incorporates control variates constructed by
Stein identity, allowing for arbitrary baseline functions. This enables us to
include flexible guidance priors and network architectures to explicitly
optimize for variance reduction. In our experiments, the overall pipeline,
dubbed SteinDreamer, is implemented by instantiating the control variate with a
monocular depth estimator. The results suggest that SSD can effectively reduce
the distillation variance and consistently improve visual quality for both
object- and scene-level generation. Moreover, we demonstrate that SteinDreamer
achieves faster convergence than existing methods due to more stable gradient
updates.
- Abstract(参考訳): スコア蒸留は、テキストから3Dの資産合成において最も一般的なアプローチの1つである。
基本的に、スコア蒸留は3Dパラメーターを異なる視点で平均値を持ち上げることで更新する。
本稿では, スコア蒸留における勾配推定が高分散性に起因することを明らかにした。
分散還元のレンズを通して、SDSとVSDの有効性は、蒸留されたスコアのモンテカルロ推定器に対する様々な制御変数の応用と解釈できる。
この再考に動機付けられ、スタインの同一性に基づいて、スコア蒸留の分散を低減するためのより一般的な解法(Stein Score Distillation (SSD))を提案する。
SSDはスタインIDによって構築された制御変数を取り入れており、任意のベースライン関数が可能である。
これにより、フレキシブルなガイダンスとネットワークアーキテクチャを組み込むことで、分散削減を明示的に最適化できます。
実験では, 全体パイプラインをSteinDreamerと呼び, 制御変数を単分子深度推定器でインスタンス化して実装した。
その結果, SSDは蒸留の分散を効果的に低減し, オブジェクトレベルとシーンレベルの双方の視覚的品質を継続的に向上させることができることがわかった。
さらに,SteinDreamerは,より安定した勾配更新により,既存の手法よりも高速な収束を実現することを示す。
関連論文リスト
- Consistent3D: Towards Consistent High-Fidelity Text-to-3D Generation
with Deterministic Sampling Prior [93.93402145259343]
スコア蒸留サンプリング(SDS)とその変種は、テキスト・ツー・3D世代の発展を大幅に加速させたが、幾何崩壊やテクスチャの低下に弱い。
テキストから3D生成に先立ってODE決定論的サンプリングを探索する新しい「一貫性3D」手法を提案する。
実験により,高忠実で多様な3Dオブジェクトと大規模シーンの生成にConsistent3Dの有効性が示された。
論文 参考訳(メタデータ) (2024-01-17T08:32:07Z) - Taming Mode Collapse in Score Distillation for Text-to-3D Generation [72.0399904371326]
エントロピックスコア蒸留(Entropic Score Distillation, ESD)は, スコア蒸留におけるJanusアーティファクトの有効処理である。
エントロピースコア蒸留(Entropic Score Distillation, ESD)と呼ばれる新しい3Dスコア蒸留法を提案する。
恥ずかしいほど単純ではないが, 広範囲にわたる実験により, ESDがJanusアーティファクトのスコア蒸留に有効であることが示された。
論文 参考訳(メタデータ) (2023-12-31T22:47:06Z) - Adversarial Score Distillation: When score distillation meets GAN [3.5825440071527375]
既存のスコア蒸留をWGAN(Wasserstein Generative Adversarial Network)パラダイムで解読する。
WGANのパラダイムでは、既存のスコア蒸留は固定された準最適判別器を使うか、不完全判別器の最適化を行うかのいずれかである。
本稿では、最適な判別器を維持し、完全な最適化目標を用いて更新するASD(Adversarial Score Distillation)を提案する。
論文 参考訳(メタデータ) (2023-12-01T17:20:47Z) - Text-to-3D with Classifier Score Distillation [80.14832887529259]
クラシファイアフリーガイダンスは最も必須ではなく、補助的なトリックだと考えられている。
我々はこの手法をスコア蒸留 (CSD) と名付け, 生成のための暗黙の分類モデルを用いて解釈できる。
我々は,形状生成,テクスチャ合成,形状編集など,テキストから3Dまでの各種タスクにおけるCSDの有効性を検証した。
論文 参考訳(メタデータ) (2023-10-30T10:25:40Z) - ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with
Variational Score Distillation [48.59711140119368]
テキスト・ツー・3D 生成における問題の説明と対処を目的として, 変分スコア蒸留法 (VSD) を提案する。
ProlificDreamerと呼ばれる我々の全体的なアプローチは、高解像度(512times512$)と、リッチな構造と複雑な効果を持つ高忠実なNeRFを生成することができる。
論文 参考訳(メタデータ) (2023-05-25T16:19:18Z) - Smooth and Stepwise Self-Distillation for Object Detection [17.36914845503558]
自己蒸留は近年,物体検出の最先端性能を実現している。
オブジェクト検出のためのSmooth and Stepwise Self-Distillation (SSSD)を提案する。
論文 参考訳(メタデータ) (2023-03-09T03:33:56Z) - StereoDistill: Pick the Cream from LiDAR for Distilling Stereo-based 3D
Object Detection [93.10989714186788]
ステレオ法とLiDAR法とのギャップを狭めるため,StereoDistillというクロスモーダル蒸留法を提案する。
StereoDistillの主な設計は、回帰のためのX-component Guided Distillation(XGD)と分類のためのCLD(Cross-anchor Logit Distillation)である。
論文 参考訳(メタデータ) (2023-01-04T13:38:48Z) - Sliced Kernelized Stein Discrepancy [17.159499204595527]
Kernelized Stein discrepancy (KSD) は、良質なテストやモデル学習に広く用いられている。
最適一次元射影上に定義されたカーネルベースのテスト関数を用いるスライスされたスタイン差分とそのスケーラブルでカーネル化された変種を提案する。
モデル学習においては,異なる相違点を持つ独立成分分析モデルを訓練することにより,既存のSteinの相違点ベースラインに対してその優位性を示す。
論文 参考訳(メタデータ) (2020-06-30T04:58:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。