論文の概要: Unleashing High-Quality Image Generation in Diffusion Sampling Using Second-Order Levenberg-Marquardt-Langevin

• arxiv url: http://arxiv.org/abs/2505.24222v1
• Date: Fri, 30 May 2025 05:21:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.779827
• Title: Unleashing High-Quality Image Generation in Diffusion Sampling Using Second-Order Levenberg-Marquardt-Langevin
• Title（参考訳）: 2次レバンス・マルカルト・ランジュヴィンを用いた拡散サンプリングにおける高画質画像生成
• Authors: Fangyikang Wang, Hubery Yin, Lei Qian, Yinan Li, Shaobin Zhuang, Huminhao Zhu, Yilin Zhang, Yanlong Tang, Chao Zhang, Hanbin Zhao, Hui Qian, Chen Li,
• Abstract要約: 拡散ヘッセン幾何学を学習自由な方法で近似する新しいレバンス・マルカルト・ランジュヴィン法(LML)を導入する。 このLML近似ヘッセン幾何により、拡散サンプリングによりより正確なステップを実行し、画像生成品質を向上させることができる。
• 参考スコア（独自算出の注目度）: 19.316680628326406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The diffusion models (DMs) have demonstrated the remarkable capability of generating images via learning the noised score function of data distribution. Current DM sampling techniques typically rely on first-order Langevin dynamics at each noise level, with efforts concentrated on refining inter-level denoising strategies. While leveraging additional second-order Hessian geometry to enhance the sampling quality of Langevin is a common practice in Markov chain Monte Carlo (MCMC), the naive attempts to utilize Hessian geometry in high-dimensional DMs lead to quadratic-complexity computational costs, rendering them non-scalable. In this work, we introduce a novel Levenberg-Marquardt-Langevin (LML) method that approximates the diffusion Hessian geometry in a training-free manner, drawing inspiration from the celebrated Levenberg-Marquardt optimization algorithm. Our approach introduces two key innovations: (1) A low-rank approximation of the diffusion Hessian, leveraging the DMs' inherent structure and circumventing explicit quadratic-complexity computations; (2) A damping mechanism to stabilize the approximated Hessian. This LML approximated Hessian geometry enables the diffusion sampling to execute more accurate steps and improve the image generation quality. We further conduct a theoretical analysis to substantiate the approximation error bound of low-rank approximation and the convergence property of the damping mechanism. Extensive experiments across multiple pretrained DMs validate that the LML method significantly improves image generation quality, with negligible computational overhead.
• Abstract（参考訳）: 拡散モデル(DM)は,データ分布の雑音スコア関数を学習することにより,画像を生成する顕著な能力を実証した。 現在のDMサンプリング技術は、通常、各ノイズレベルでの1次ランゲヴィンダイナミクスに依存しており、レベル間デノゲーション戦略の精細化に力を入れている。 ランゲヴィンのサンプリング品質を高めるためにさらに2階ヘッセン幾何学を活用することは、マルコフ連鎖モンテカルロ (MCMC) において一般的な慣行であるが、高次元のDMにヘッセン幾何学を活用しようとする単純な試みは、二次複雑計算コストをもたらす。 本研究では,レバンス・マルカルト・ランゲヴィン法(LML)を導入し,レバンス・マルカルト最適化アルゴリズムから着想を得た。 提案手法では,(1)拡散ヘッセンの低ランク近似,DMs固有の構造の利用,および明示的な二次複雑度計算の回避,(2)近似ヘッセンの安定化のための減衰機構を導入している。 このLML近似ヘッセン幾何により、拡散サンプリングによりより正確なステップを実行し、画像生成品質を向上させることができる。 さらに,低ランク近似の近似誤差境界と減衰機構の収束特性について,理論的解析を行った。 複数の事前訓練されたDMの広範な実験により、LML法は画像生成品質を大幅に改善し、計算オーバーヘッドが無視できることを確認した。

関連論文リスト

• Language-Informed Hyperspectral Image Synthesis for Imbalanced-Small Sample Classification via Semi-Supervised Conditional Diffusion Model [1.9746060146273674]
  本稿では,新しい言語インフォームドハイパースペクトル画像合成法であるTxt2HSI-LDM(VAE)を提案する。 ハイパースペクトルデータの高次元性に対処するため、普遍変分オートエンコーダ(VAE)は、データを低次元の潜在空間にマッピングするように設計されている。 VAEは、拡散モデルによって生成された潜時空間から言語条件を入力としてHSIをデコードする。
  論文  参考訳（メタデータ） (2025-02-27T02:35:49Z)
• Empirical Bayesian image restoration by Langevin sampling with a denoising diffusion implicit prior [0.18434042562191813]
  本稿では,新しい高効率画像復元手法を提案する。 DDPMデノイザーを経験的ベイズアン・ランゲヴィンアルゴリズムに組み込む。 画像推定精度と計算時間の両方において最先端の戦略を改善する。
  論文  参考訳（メタデータ） (2024-09-06T16:20:24Z)
• The Poisson Midpoint Method for Langevin Dynamics: Provably Efficient Discretization for Diffusion Models [9.392691963008385]
  ランゲヴィン・モンテカルロ(Langevin Monte Carlo、LMC)は、最も単純かつ最も研究されたアルゴリズムである。 本稿では, ステップサイズが大きい小型LCCを近似したPoisson Midpoint Methodを提案する。 DDPMは,わずか50～80のニューラルネットワークコールで1000件のニューラルネットワークコールで品質を維持し,同様の計算でODEベースの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-27T11:40:42Z)
• Proximal Algorithms for Accelerated Langevin Dynamics [57.08271964961975]
  我々は,確率化Nesterovスキームに基づくMCMCアルゴリズムの新たなクラスを開発する。 統計処理と画像処理の異なるモデルに対して,Langevinサンプルよりも提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-24T19:56:01Z)
• Generative Fractional Diffusion Models [53.36835573822926]
  我々は,その基礎となる力学に分数拡散過程を利用する,最初の連続時間スコアベース生成モデルを導入する。 実画像データを用いた評価では,GFDMはFIDが低い値で示されるように,画素幅の多様性と画質の向上を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:53:24Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。