論文の概要: Global Optimization via Softmin Energy Minimization

• arxiv url: http://arxiv.org/abs/2509.17815v1
• Date: Mon, 22 Sep 2025 14:09:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.433102
• Title: Global Optimization via Softmin Energy Minimization
• Title（参考訳）: ソフトミンエネルギー最小化によるグローバル最適化
• Authors: Andrea Agazzi, Vittorio Carlei, Marco Romito, Samuele Saviozzi,
• Abstract要約: 本稿では,局所最小値間の相互作用を効率的に回避し,大域的最適点を求めるために,新しい勾配に基づく粒子最適化手法を提案する。 本手法は, シミュレーションアニーリングに対する有効電位を低減し, 局所最小値間の高速な遷移を容易にすることを示す。
• 参考スコア（独自算出の注目度）: 3.966519779235704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Global optimization, particularly for non-convex functions with multiple local minima, poses significant challenges for traditional gradient-based methods. While metaheuristic approaches offer empirical effectiveness, they often lack theoretical convergence guarantees and may disregard available gradient information. This paper introduces a novel gradient-based swarm particle optimization method designed to efficiently escape local minima and locate global optima. Our approach leverages a "Soft-min Energy" interacting function, $J_\beta(\mathbf{x})$, which provides a smooth, differentiable approximation of the minimum function value within a particle swarm. We define a stochastic gradient flow in the particle space, incorporating a Brownian motion term for exploration and a time-dependent parameter $\beta$ to control smoothness, similar to temperature annealing. We theoretically demonstrate that for strongly convex functions, our dynamics converges to a stationary point where at least one particle reaches the global minimum, with other particles exhibiting exploratory behavior. Furthermore, we show that our method facilitates faster transitions between local minima by reducing effective potential barriers with respect to Simulated Annealing. More specifically, we estimate the hitting times of unexplored potential wells for our model in the small noise regime and show that they compare favorably with the ones of overdamped Langevin. Numerical experiments on benchmark functions, including double wells and the Ackley function, validate our theoretical findings and demonstrate better performance over the well-known Simulated Annealing method in terms of escaping local minima and achieving faster convergence.
• Abstract（参考訳）: グローバルな最適化、特に複数の局所ミニマを持つ非凸関数は、従来の勾配法に重大な課題をもたらす。 メタヒューリスティックなアプローチは経験的な効果をもたらすが、理論的な収束保証が欠如しており、利用可能な勾配情報を無視することもある。 本稿では,局所最小値の効率的な回避とグローバルオプティマの探索を目的とした,勾配に基づくSwarm粒子最適化手法を提案する。 我々の手法は「ソフトミンエネルギー」相互作用関数である$J_\beta(\mathbf{x})$を利用することで、粒子群内の最小関数値の滑らかで微分可能な近似を提供する。 粒子空間における確率勾配流を定義し、探索のためのブラウン運動項と温度アニールのような滑らかさを制御するための時間依存パラメータ$\beta$を組み込んだ。 理論的には、強い凸関数に対して、我々の力学は、少なくとも1つの粒子が大域最小値に達する静止点に収束し、他の粒子が探索的な振る舞いを示すことを証明している。 さらに,本手法は,シミュレート・アニーリングに対する有効電位障壁を低減し,局所最小値間の高速な遷移を容易にすることを示す。 より具体的には、小さな騒音条件下での我々のモデルに対する探索されていないポテンシャル井戸の衝突時刻を推定し、これらが過度に損傷されたランゲヴィンのものと好適に比較できることを示す。 ダブルウェルズとアクリー関数を含むベンチマーク関数に関する数値実験により、我々の理論的な知見を検証し、局所最小値の回避とより高速な収束という観点から、よく知られたシミュレートされたアニーリング法よりも優れた性能を示す。

関連論文リスト

• Zeroth-Order Optimization Finds Flat Minima [51.41529512093436]
  標準二点推定器によるゼロ階最適化は、ヘッセンの小さなトレースを持つ解を好むことを示す。 さらに、凸関数と十分に滑らかな関数に対する近似平坦なミニマに対して、ゼロ階最適化の収束率を提供する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:09Z)
• Semi-Implicit Functional Gradient Flow for Efficient Sampling [30.32233517392456]
  本稿では,ガウス雑音を近似系とする摂動粒子を用いた関数勾配ParVI法を提案する。 ニューラルネットワークと一致するスコアをデノナイズすることで推定できる機能的勾配流は,強い理論的収束保証を示す。 さらに,サンプリング中の適切な雑音の大きさを自動的に選択する適応バージョンを提案する。
  論文  参考訳（メタデータ） (2024-10-23T15:00:30Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Accelerating Nonconvex Learning via Replica Exchange Langevin Diffusion [67.66101533752605]
  ランゲヴィン拡散は非最適化のための強力な方法である。 本稿では,Langevin拡散を異なる温度で置き換えるレプリカ交換を提案する。 レプリカ交換Langevin拡散を離散化することにより、離散時間アルゴリズムを得る。
  論文  参考訳（メタデータ） (2020-07-04T02:52:11Z)
• CoolMomentum: A Method for Stochastic Optimization by Langevin Dynamics with Simulated Annealing [23.87373187143897]
  深層学習アプリケーションは、複数の局所ミニマを持つ非目的関数を大域的に最適化する必要がある。 物理シミュレーションでも同様の問題を解くために座標学習アルゴリズムが利用できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T14:44:24Z)
• Consensus-Based Optimization on Hypersurfaces: Well-Posedness and Mean-Field Limit [7.998311072988401]
  コンパクト超曲面上の非場関数の大域的最適化のための新しい微分モデルを提案する。 特に、合意に達したらすぐに、合意は消える。
  論文  参考訳（メタデータ） (2020-01-31T18:33:08Z)
• Consensus-Based Optimization on the Sphere: Convergence to Global Minimizers and Machine Learning [7.998311072988401]
  球面上の非函数の大域的最適化のための新しい倉本ビエク型モデルの実装について検討する。 本稿では,本論文で提案したアルゴリズムが寸法によく適合し,極めて多目的であることを示す数値実験を行った。
  論文  参考訳（メタデータ） (2020-01-31T18:23:26Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。