論文の概要: SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity

• arxiv url: http://arxiv.org/abs/2401.00604v2
• Date: Fri, 29 Mar 2024 18:33:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 14:35:39.250818
• Title: SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity
• Title（参考訳）: SteinDreamer:Stein Identityによるテキスト・ツー・3Dスコア蒸留の可変化
• Authors: Peihao Wang, Zhiwen Fan, Dejia Xu, Dilin Wang, Sreyas Mohan, Forrest Iandola, Rakesh Ranjan, Yilei Li, Qiang Liu, Zhangyang Wang, Vikas Chandra,
• Abstract要約: スコア蒸留における勾配推定は, 分散度が高いことが示唆された。 本稿では,Stin Score Distillation (SSD) と呼ばれる,スコア蒸留の分散を低減するための,より一般的な解を提案する。 我々はSteinDreamerがより安定した勾配更新により既存の方法よりも高速に収束できることを実証した。
• 参考スコア（独自算出の注目度）: 70.32101198891465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score distillation has emerged as one of the most prevalent approaches for text-to-3D asset synthesis. Essentially, score distillation updates 3D parameters by lifting and back-propagating scores averaged over different views. In this paper, we reveal that the gradient estimation in score distillation is inherent to high variance. Through the lens of variance reduction, the effectiveness of SDS and VSD can be interpreted as applications of various control variates to the Monte Carlo estimator of the distilled score. Motivated by this rethinking and based on Stein's identity, we propose a more general solution to reduce variance for score distillation, termed Stein Score Distillation (SSD). SSD incorporates control variates constructed by Stein identity, allowing for arbitrary baseline functions. This enables us to include flexible guidance priors and network architectures to explicitly optimize for variance reduction. In our experiments, the overall pipeline, dubbed SteinDreamer, is implemented by instantiating the control variate with a monocular depth estimator. The results suggest that SSD can effectively reduce the distillation variance and consistently improve visual quality for both object- and scene-level generation. Moreover, we demonstrate that SteinDreamer achieves faster convergence than existing methods due to more stable gradient updates.
• Abstract（参考訳）: スコア蒸留は、テキストから3Dのアセット合成において最も一般的なアプローチの1つである。 基本的に、スコア蒸留は3Dパラメーターを異なる視点で平均値を持ち上げ、バックプロパゲーションすることで更新する。 本稿では, スコア蒸留における勾配推定が, 高分散性に起因していることを明らかにする。 分散還元のレンズを通して、SDSとVSDの有効性は、蒸留されたスコアのモンテカルロ推定器に対する様々な制御変数の応用と解釈できる。 この再考に動機付けられ、スタインの同一性に基づいて、スコア蒸留の分散を低減するためのより一般的な解法であるスタインスコア蒸留(Stein Score Distillation, SSD)を提案する。 SSDはスタインIDによって構築された制御変数を組み込んでおり、任意のベースライン関数が可能である。 これにより、フレキシブルなガイダンスとネットワークアーキテクチャを組み込むことで、分散削減を明示的に最適化できます。 実験では, 全体パイプラインをSteinDreamerと呼び, 制御変数を単分子深度推定器でインスタンス化して実装した。 その結果, SSDは蒸留の分散を効果的に低減し, オブジェクトレベルとシーンレベルの双方の視覚的品質を継続的に向上させることができることがわかった。 さらに,SteinDreamerは,より安定した勾配更新により,既存の手法よりも高速な収束を実現することを示す。

関連論文リスト

• VividDreamer: Invariant Score Distillation For Hyper-Realistic Text-to-3D Generation [33.05759961083337]
  Invariant Score Distillation (ISD) を提案する。 ISDは、スコア蒸留サンプリング(SDS)における過飽和および過平滑化問題に対処することを目的としている。
  論文  参考訳（メタデータ） (2024-07-13T09:33:16Z)
• VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
  拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。 PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。 そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:21:52Z)
• Taming Mode Collapse in Score Distillation for Text-to-3D Generation [70.32101198891465]
  Janus"アーティファクトはテキストから3D生成における問題であり、生成されたオブジェクトは複数のフロントフェイスで各ビューを偽装する。 エントロピースコア蒸留(Entropic Score Distillation, ESD)と呼ばれる新しい3Dスコア蒸留法を提案する。 恥ずかしいほど単純ではないが,我々はESDがJanusアーティファクトのスコア蒸留に有効であることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-12-31T22:47:06Z)
• Adversarial Score Distillation: When score distillation meets GAN [3.2794321281011394]
  既存のスコア蒸留をWGAN(Wasserstein Generative Adversarial Network)パラダイムで解読する。 WGANのパラダイムでは、既存のスコア蒸留は固定された準最適判別器を使うか、不完全判別器の最適化を行うかのいずれかである。 本稿では、最適な判別器を維持し、完全な最適化目標を用いて更新するASD(Adversarial Score Distillation)を提案する。
  論文  参考訳（メタデータ） (2023-12-01T17:20:47Z)
• Text-to-3D with Classifier Score Distillation [80.14832887529259]
  クラシファイアフリーガイダンスは最も必須ではなく、補助的なトリックだと考えられている。 我々はこの手法をスコア蒸留 (CSD) と名付け, 生成のための暗黙の分類モデルを用いて解釈できる。 我々は,形状生成,テクスチャ合成,形状編集など,テキストから3Dまでの各種タスクにおけるCSDの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-30T10:25:40Z)
• ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation [48.59711140119368]
  テキスト・ツー・3D 生成における問題の説明と対処を目的として, 変分スコア蒸留法 (VSD) を提案する。 ProlificDreamerと呼ばれる我々の全体的なアプローチは、高解像度(512times512$)と、リッチな構造と複雑な効果を持つ高忠実なNeRFを生成することができる。
  論文  参考訳（メタデータ） (2023-05-25T16:19:18Z)
• StereoDistill: Pick the Cream from LiDAR for Distilling Stereo-based 3D Object Detection [93.10989714186788]
  ステレオ法とLiDAR法とのギャップを狭めるため,StereoDistillというクロスモーダル蒸留法を提案する。 StereoDistillの主な設計は、回帰のためのX-component Guided Distillation(XGD)と分類のためのCLD(Cross-anchor Logit Distillation)である。
  論文  参考訳（メタデータ） (2023-01-04T13:38:48Z)
• Sliced Kernelized Stein Discrepancy [17.159499204595527]
  Kernelized Stein discrepancy (KSD) は、良質なテストやモデル学習に広く用いられている。 最適一次元射影上に定義されたカーネルベースのテスト関数を用いるスライスされたスタイン差分とそのスケーラブルでカーネル化された変種を提案する。 モデル学習においては,異なる相違点を持つ独立成分分析モデルを訓練することにより,既存のSteinの相違点ベースラインに対してその優位性を示す。
  論文  参考訳（メタデータ） (2020-06-30T04:58:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。