論文の概要: Stein Boltzmann Sampling: A Variational Approach for Global Optimization
- arxiv url: http://arxiv.org/abs/2402.04689v4
- Date: Wed, 13 Mar 2024 08:59:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 17:27:30.347231
- Title: Stein Boltzmann Sampling: A Variational Approach for Global Optimization
- Title(参考訳): シュタイン・ボルツマンサンプリング:大域最適化のための変分的アプローチ
- Authors: Ga\"etan Serr\'e (CB), Argyris Kalogeratos (CB), Nicolas Vayatis (CB)
- Abstract要約: 我々は,Stein Boltzmann Sampling (SBS) と呼ばれるリプシッツ関数の大域的最適化のための新しいフローベース手法を提案する。
本手法は,最適化対象関数の最小値集合上で一様となるボルツマン分布からサンプリングする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce a new flow-based method for global optimization
of Lipschitz functions, called Stein Boltzmann Sampling (SBS). Our method
samples from the Boltzmann distribution that becomes asymptotically uniform
over the set of the minimizers of the function to be optimized. Candidate
solutions are sampled via the \emph{Stein Variational Gradient Descent}
algorithm. We prove the asymptotic convergence of our method, introduce two SBS
variants, and provide a detailed comparison with several state-of-the-art
global optimization algorithms on various benchmark functions. The design of
our method, the theoretical results, and our experiments, suggest that SBS is
particularly well-suited to be used as a continuation of efficient global
optimization methods as it can produce better solutions while making a good use
of the budget.
- Abstract(参考訳): 本稿では,Stein Boltzmann Sampling (SBS) と呼ばれるリプシッツ関数を大域的に最適化するフローベース手法を提案する。
我々の手法は、最適化される関数の最小値の集合に対して漸近的に一様となるボルツマン分布からサンプリングする。
候補解は \emph{Stein Variational Gradient Descent} アルゴリズムでサンプリングされる。
提案手法の漸近収束性を証明し、2つのSBS変種を導入し、様々なベンチマーク関数に対する最先端のグローバル最適化アルゴリズムとの詳細な比較を行う。
提案手法の設計, 理論的結果, 実験により, SBSは特に, 効率的なグローバル最適化手法の継続に好適であることが示唆された。
関連論文リスト
- Implicit Diffusion: Efficient Optimization through Stochastic Sampling [46.56122453571896]
パラメータ化拡散により暗黙的に定義された分布を最適化するアルゴリズムを提案する。
本稿では,これらのプロセスの1次最適化のための一般的なフレームワークについて紹介する。
本研究では,提案手法の性能に関する理論的保証と,実環境における有効性を示す実験結果を提供する。
論文 参考訳(メタデータ) (2024-02-08T08:00:11Z) - ProGO: Probabilistic Global Optimizer [9.772380490791635]
本稿では,いくつかの温和な条件下でのグローバルオプティマに収束するアルゴリズムを開発する。
提案アルゴリズムは,従来の最先端手法よりも桁違いに優れていることを示す。
論文 参考訳(メタデータ) (2023-10-04T22:23:40Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳(メタデータ) (2022-10-04T04:43:58Z) - Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic
Optimization [1.7513645771137178]
勾配情報のない制約のない最適化問題を考察する。
適応的なサンプリング準ニュートン法を提案し、共通乱数フレームワーク内の有限差を用いてシミュレーション関数の勾配を推定する。
そこで本研究では, 標準試験と内積準ニュートン試験の修正版を開発し, 近似に使用する試料サイズを制御し, 最適解の近傍に大域収束結果を与える。
論文 参考訳(メタデータ) (2021-09-24T21:49:25Z) - High dimensional Bayesian Optimization Algorithm for Complex System in
Time Series [1.9371782627708491]
本稿では,新しい高次元ベイズ最適化アルゴリズムを提案する。
モデルの時間依存特性や次元依存特性に基づいて,提案アルゴリズムは次元を均等に低減することができる。
最適解の最終精度を高めるために,提案アルゴリズムは,最終段階におけるアダムに基づく一連のステップに基づく局所探索を追加する。
論文 参考訳(メタデータ) (2021-08-04T21:21:17Z) - Minibatch and Momentum Model-based Methods for Stochastic Non-smooth
Non-convex Optimization [3.4809730725241597]
モデルベース手法に対する2つの重要な拡張を行う。
まず,各イテレーションのモデル関数を近似するために,サンプルの集合を用いる新しいミニバッチを提案する。
第二に、運動量法の成功により、新しい凸モデルを提案する。
論文 参考訳(メタデータ) (2021-06-06T05:31:57Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳(メタデータ) (2020-09-08T06:54:11Z) - Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。
実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。
我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
論文 参考訳(メタデータ) (2020-05-03T14:28:32Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。