論文の概要: Global Convergence of Sampling-Based Nonconvex Optimization through Diffusion-Style Smoothing

• arxiv url: http://arxiv.org/abs/2605.16520v1
• Date: Fri, 15 May 2026 18:14:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.601664
• Title: Global Convergence of Sampling-Based Nonconvex Optimization through Diffusion-Style Smoothing
• Title（参考訳）: 拡散型平滑化によるサンプリングベース非凸最適化の大域的収束
• Authors: Zeji Yi, Chaoyi Pan, Guanya Shi, Guannan Qu,
• Abstract要約: サンプリングベースデュアル最適化(SBO)は拡散のない非漸近問題の解法において多くの成功を収めている。 本稿では,SBOの非漸近収束解析を平滑化スコアを用いて確立する。 本稿では,大域的最適値に確実に収束するSBOアルゴリズムDiffusion-Inspired Annealing (DIDA)を提案する。
• 参考スコア（独自算出の注目度）: 13.780989664925258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sampling-based optimization (SBO), like cross-entropy method and evolutionary algorithms, has achieved many successes in solving non-convex problems without gradients, yet its convergence is poorly understood. In this paper, we establish a non-asymptotic convergence analysis for SBO through the lens of smoothing. Specifically, we recast SBO as gradient descent on a smoothed objective, mirroring noise-conditioned score ascent in diffusion models. Our first contribution is a landscape analysis of the smoothed objective, demonstrating how smoothing helps escape local minima and uncovering a fundamental coverage-optimality trade-off: smoothing renders the landscape more benign by enlarging the locally convex region around the global minimizer, but at the cost of introducing an optimality gap. Building on this insight, we establish non-asymptotic convergence guarantees for SBO algorithms to a neighborhood of the global minimizer. Furthermore, we propose an annealed SBO algorithm, Diffusion-Inspired Dual-Annealing (DIDA), which is provably convergent to the global optimum. We conduct extensive numerical experiments to verify our landscape results and also demonstrate the compelling performance of DIDA compared to other gradient-free optimization methods. Lastly, we discuss implications of our results for diffusion models.
• Abstract（参考訳）: サンプリングに基づく最適化(SBO)は、クロスエントロピー法や進化的アルゴリズムと同様に、勾配のない非凸問題の解法において多くの成功を収めてきたが、その収束性はあまり理解されていない。 本稿では,SBOの非漸近収束解析をスムース化レンズを用いて確立する。 具体的には,SBOをスムーズな目標値の勾配降下とみなし,拡散モデルにおける雑音条件付スコアの上昇を反映する。 最初のコントリビューションはスムーズ化された目的のランドスケープ分析であり、スムーズ化が局所的なミニマから逃れ、基本的なカバレッジと最適性のトレードオフを明らかにするのにいかに役立つかを示している。 この知見に基づいて,SBOアルゴリズムの非漸近収束保証をグローバル最小化器の近傍に確立する。 さらに,大域的最適値に確実に収束するDiffusion-Inspired Dual-Annealing (DIDA) アルゴリズムを提案する。 ランドスケープ結果の検証や,他の勾配のない最適化手法と比較して,DIDAの魅力的な性能を示すため,広範囲な数値実験を行った。 最後に,拡散モデルにおける結果の影響について考察する。

関連論文リスト

• Towards a Unified Analysis of Neural Networks in Nonparametric Instrumental Variable Regression: Optimization and Generalization [66.08522228989634]
  非パラメトリックインスツルメンタル変数回帰(NPIV)における2段階最小二乗法(2SLS)アプローチのためのニューラルネットワークの最初の大域収束結果を確立する。 これは平均場ランゲヴィンダイナミクス(MFLD)を通して持ち上げられた視点を採用することで達成される。
  論文  参考訳（メタデータ） (2025-11-18T17:51:17Z)
• Divergence Minimization Preference Optimization for Diffusion Model Alignment [66.31417479052774]
  Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。 DMPOは、異なるベースモデルとテストセットで既存のテクニックを一貫して上回り、適合させることができる。
  論文  参考訳（メタデータ） (2025-07-10T07:57:30Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Dynamic Anisotropic Smoothing for Noisy Derivative-Free Optimization [0.0]
  雑音のない微分自由最適化のための球平滑化法とガウス平滑化法を拡張した新しいアルゴリズムを提案する。 アルゴリズムはスムーズなカーネルの形状を動的に適応させ、局所最適関数の Hessian を近似する。
  論文  参考訳（メタデータ） (2024-05-02T21:04:20Z)
• Proximal Oracles for Optimization and Sampling [18.77973093341588]
  非滑らかな目的関数による凸最適化と非滑らかなポテンシャルによる対数凹型サンプリングについて検討する。 非滑らか性による課題を克服するため、アルゴリズムは最適化とサンプリングに2つの強力な近位フレームワークを用いる。
  論文  参考訳（メタデータ） (2024-04-02T18:52:28Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• ProGO: Probabilistic Global Optimizer [9.772380490791635]
  本稿では,いくつかの温和な条件下でのグローバルオプティマに収束するアルゴリズムを開発する。 提案アルゴリズムは,従来の最先端手法よりも桁違いに優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-04T22:23:40Z)
• Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
  ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。 これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。 勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
  論文  参考訳（メタデータ） (2022-08-09T07:36:25Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。