論文の概要: Guidance with Spherical Gaussian Constraint for Conditional Diffusion

• arxiv url: http://arxiv.org/abs/2402.03201v1
• Date: Mon, 5 Feb 2024 17:12:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 14:42:46.580357
• Title: Guidance with Spherical Gaussian Constraint for Conditional Diffusion
• Title（参考訳）: 条件拡散のための球面ガウス制約による誘導
• Authors: Lingxiao Yang, Shutong Ding, Yifan Cai, Jingyi Yu, Jingya Wang, Ye Shi
• Abstract要約: 拡散モデルの最近の進歩は、訓練を必要とせず、異なる損失関数をガイダンスに利用することで条件付き生成タスクを処理しようとするものである。 これらの手法は一定の成功を収めたが、しばしばサンプルの品質を妥協し、小さなガイダンスのステップサイズを必要とする。 本稿では, 損失誘導を行う際に, サンプリング過程における多様体偏差の基本的な問題を明らかにする。
• 参考スコア（独自算出の注目度）: 45.62216204492677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in diffusion models attempt to handle conditional generative tasks by utilizing a differentiable loss function for guidance without the need for additional training. While these methods achieved certain success, they often compromise on sample quality and require small guidance step sizes, leading to longer sampling processes. This paper reveals that the fundamental issue lies in the manifold deviation during the sampling process when loss guidance is employed. We theoretically show the existence of manifold deviation by establishing a certain lower bound for the estimation error of the loss guidance. To mitigate this problem, we propose Diffusion with Spherical Gaussian constraint (DSG), drawing inspiration from the concentration phenomenon in high-dimensional Gaussian distributions. DSG effectively constrains the guidance step within the intermediate data manifold through optimization and enables the use of larger guidance steps. Furthermore, we present a closed-form solution for DSG denoising with the Spherical Gaussian constraint. Notably, DSG can seamlessly integrate as a plugin module within existing training-free conditional diffusion methods. Implementing DSG merely involves a few lines of additional code with almost no extra computational overhead, yet it leads to significant performance improvements. Comprehensive experimental results in various conditional generation tasks validate the superiority and adaptability of DSG in terms of both sample quality and time efficiency.
• Abstract（参考訳）: 拡散モデルの最近の進歩は、追加の訓練を必要とせずに、異なる損失関数をガイダンスに利用することで条件付き生成タスクを処理しようとするものである。 これらの手法は一定の成功を収めたが、しばしばサンプルの品質に妥協し、小さなガイダンスステップサイズが必要となり、より長いサンプリングプロセスに繋がる。 本稿では,損失誘導を行う場合のサンプリング過程における多様体偏差に関する基礎的問題を明らかにする。 損失誘導の推定誤差に対して, 一定の下界を確立することにより, 多様体偏差の存在を理論的に示す。 この問題を軽減するために,高次元ガウス分布における集中現象から着想を得た球状ガウス制約付き拡散(DSG)を提案する。 DSGは、最適化を通じて中間データ多様体内のガイダンスステップを効果的に制限し、より大きなガイダンスステップの使用を可能にする。 さらに、球面ガウスの制約を除いたDSGの閉形式解を提案する。 特にDSGは、既存のトレーニングフリー条件付き拡散メソッドにプラグインモジュールとしてシームレスに統合できる。 DSGを実装するには、余分な計算オーバーヘッドがほとんどない数行の追加コードだけで、パフォーマンスが大幅に向上する。 各種条件生成タスクにおける総合的な実験結果は,サンプル品質と時間効率の両面でDSGの優越性と適応性を検証した。

関連論文リスト

• Contrastive CFG: Improving CFG in Diffusion Models by Contrasting Positive and Negative Concepts [55.298031232672734]
  As-Free Guidance (CFG) は条件拡散モデルサンプリングに有効であることが証明された。 対照的な損失を用いた負のCFG誘導を強化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:29:27Z)
• Constrained Diffusion with Trust Sampling [11.354281911272864]
  我々は、最適化の観点から、トレーニングなし損失誘導拡散を再考する。 トラストサンプリングは、無条件拡散モデルに従って効果的にバランスをとり、損失誘導に固執する。 複雑なタスクや画像の領域や3Dモーション生成の領域で広範囲にわたる実験により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-11-17T01:34:57Z)
• Diffusion-ES: Gradient-free Planning with Diffusion for Autonomous Driving and Zero-Shot Instruction Following [21.81411085058986]
  Reward-gradient guided denoisingは、微分可能報酬関数と拡散モデルによって捕捉されたデータ分布下での確率の両方を最大化する軌道を生成する。 そこで我々は,勾配のない最適化と軌道デノゲーションを組み合わせたDiffusionESを提案する。 DiffusionESは、自動運転のための確立されたクローズドループ計画ベンチマークであるnuPlan上で、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-02-09T17:18:33Z)
• Manifold Preserving Guided Diffusion [121.97907811212123]
  条件付き画像生成は、コスト、一般化可能性、タスク固有のトレーニングの必要性といった課題に直面している。 トレーニング不要な条件生成フレームワークであるManifold Preserving Guided Diffusion (MPGD)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T02:08:06Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Accelerating Score-based Generative Models with Preconditioned Diffusion Sampling [36.02321871608158]
  本稿では,行列プレコンディショニングを利用して問題を緩和するPDS法を提案する。 PDSは、合成品質を維持しながら、棚外のSGMを継続的に加速する。 特に、PSDはより難しい高解像度(1024x1024)の画像生成で最大29倍加速することができる。
  論文  参考訳（メタデータ） (2022-07-05T17:55:42Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。