論文の概要: Stein Boltzmann Sampling: A Variational Approach for Global Optimization
- arxiv url: http://arxiv.org/abs/2402.04689v5
- Date: Mon, 3 Jun 2024 09:51:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 19:03:18.261861
- Title: Stein Boltzmann Sampling: A Variational Approach for Global Optimization
- Title（参考訳）: シュタイン・ボルツマンサンプリング:大域最適化のための変分的アプローチ
- Authors: Gaëtan Serré, Argyris Kalogeratos, Nicolas Vayatis,
- Abstract要約: 本稿では,Stein Boltzmann Sampling (SBS) と呼ばれる連続ソボレフ関数を大域的に最適化するフローベース手法を提案する。
ベンチマーク関数の最先端手法との詳細な比較は、SBSとその変種が競争力が高いことを示している。
- 参考スコア（独自算出の注目度）: 6.584366906288068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present a flow-based method for global optimization of continuous Sobolev functions, called Stein Boltzmann Sampling (SBS). SBS initializes uniformly a number of particles representing candidate solutions, then uses the Stein Variational Gradient Descent (SVGD) algorithm to sequentially and deterministically move those particles in order to approximate a target distribution whose mass is concentrated around promising areas of the domain of the optimized function. The target is chosen to be a properly parametrized Boltzmann distribution. For the purpose of global optimization, we adapt the generic SVGD theoretical framework allowing to address more general target distributions over a compact subset of $\mathbb{R}^d$, and we prove SBS's asymptotic convergence. In addition to the main SBS algorithm, we present two variants: the SBS-PF that includes a particle filtering strategy, and the SBS-HYBRID one that uses SBS or SBS-PF as a continuation after other particle- or distribution-based optimization methods. A detailed comparison with state-of-the-art methods on benchmark functions demonstrates that SBS and its variants are highly competitive, while the combination of the two variants provides the best trade-off between accuracy and computational cost.
- Abstract（参考訳）: 本稿では,Stein Boltzmann Sampling (SBS) と呼ばれる連続ソボレフ関数を大域的に最適化するフローベース手法を提案する。
SBSは、候補とする解を表す多数の粒子を初期化し、次にStein Variational Gradient Descent (SVGD)アルゴリズムを用いて、それらの粒子を逐次的かつ決定的に移動させ、最適化関数の領域の有望領域の周りに質量が集中しているターゲット分布を近似する。
ターゲットは、適切にパラメトリケートされたボルツマン分布として選択される。
大域的最適化のために、より汎用的なターゲット分布を$\mathbb{R}^d$のコンパクト部分集合上で処理できるジェネリックSVGD理論フレームワークを適用し、SBSの漸近収束を証明した。
主SBSアルゴリズムに加えて、粒子フィルタリング戦略を含むSBS-PFと、SBSまたはSBS-PFを他の粒子や分布に基づく最適化手法の継続として使用するSBS-HYBRIDの2つの変種を示す。
ベンチマーク関数の最先端手法との詳細な比較により、SBSとその変種は高い競争力を示す一方、2つの変種の組み合わせは精度と計算コストの最良のトレードオフを提供する。
関連論文リスト
- Stochastic Polyak Step-sizes and Momentum: Convergence Guarantees and Practical Performance [10.11126899274029]
我々はヘビーボール法(SHB)の更新規則に適した新しいポリアク型変種を提案し,検討する。
MomSPS$_max$ に対して、(仮定なしで)凸および滑らかな問題に対する解の近傍に SHB の保証を提供する。
その他の2つの変種である MomDecSPS と MomAdaSPS は、SHB の最初の適応的なステップサイズであり、事前の知識なしに正確な最小値への収束を保証する。
論文 参考訳（メタデータ） (2024-06-06T15:08:06Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
収束過程における有限粒子の等方性特性について検討する。
すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。
提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
論文 参考訳（メタデータ） (2023-05-18T01:13:04Z) - Energy-Based Sliced Wasserstein Distance [47.18652387199418]
スライスされたワッサーシュタイン(SW)距離の鍵成分はスライス分布である。
本研究では,スライシング分布をパラメータフリーなエネルギーベース分布として設計する。
次に、新しいスライスされたワッセルシュタイン計量、エネルギーベースのスライスされたワッセルシュタイン距離(EBSW)を導出する。
論文 参考訳（メタデータ） (2023-04-26T14:28:45Z) - Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。
最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
論文 参考訳（メタデータ） (2022-09-16T22:09:53Z) - Super-model ecosystem: A domain-adaptation perspective [101.76769818069072]
本稿では,ドメイン適応による新たなスーパーモデルパラダイムの理論的基礎を確立することを試みる。
スーパーモデルパラダイムは、計算とデータコストと二酸化炭素排出量を減らすのに役立つ。
論文 参考訳（メタデータ） (2022-08-30T09:09:43Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳（メタデータ） (2022-06-14T13:12:12Z) - SIXO: Smoothing Inference with Twisted Objectives [8.049531918823758]
SIXOは平滑な分布を近似する対象を学習する手法である。
次に、これらの学習対象とSMCを用いて、モデル学習と提案学習の変動目標を定義する。
論文 参考訳（メタデータ） (2022-06-13T07:46:35Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - Distributed Variational Bayesian Algorithms Over Sensor Networks [6.572330981878818]
一般ベイズ推論問題に対する2つの新しい分散VBアルゴリズムを提案する。
提案アルゴリズムは、核融合センターで利用可能な全データに依存する集中型VBアルゴリズムとほぼ同等の性能を有する。
論文 参考訳（メタデータ） (2020-11-27T08:12:18Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。