論文の概要: CMA-ES with Margin: Lower-Bounding Marginal Probability for
Mixed-Integer Black-Box Optimization
- arxiv url: http://arxiv.org/abs/2205.13482v1
- Date: Thu, 26 May 2022 16:47:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-27 06:56:41.690076
- Title: CMA-ES with Margin: Lower-Bounding Marginal Probability for
Mixed-Integer Black-Box Optimization
- Title(参考訳): CMA-ES with Margin: Mixed-Integer Black-Box Optimizationのための低境界マージナル確率
- Authors: Ryoki Hamano, Shota Saito, Masahiro Nomura, Shinichi Shirakawa
- Abstract要約: 本研究の目的は、連続変数と整数変数を同時に最適化する混合整数ブラックボックス最適化(MI-BBO)問題である。
MGDにおける整数変数の生成に関連する限界確率の低境界に基づくCMA-ESの簡単な修正を提案する。
- 参考スコア(独自算出の注目度): 5.237999056930947
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This study targets the mixed-integer black-box optimization (MI-BBO) problem
where continuous and integer variables should be optimized simultaneously. The
CMA-ES, our focus in this study, is a population-based stochastic search method
that samples solution candidates from a multivariate Gaussian distribution
(MGD), which shows excellent performance in continuous BBO. The parameters of
MGD, mean and (co)variance, are updated based on the evaluation value of
candidate solutions in the CMA-ES. If the CMA-ES is applied to the MI-BBO with
straightforward discretization, however, the variance corresponding to the
integer variables becomes much smaller than the granularity of the
discretization before reaching the optimal solution, which leads to the
stagnation of the optimization. In particular, when binary variables are
included in the problem, this stagnation more likely occurs because the
granularity of the discretization becomes wider, and the existing modification
to the CMA-ES does not address this stagnation. To overcome these limitations,
we propose a simple modification of the CMA-ES based on lower-bounding the
marginal probabilities associated with the generation of integer variables in
the MGD. The numerical experiments on the MI-BBO benchmark problems demonstrate
the efficiency and robustness of the proposed method.
- Abstract(参考訳): 本研究の目的は、連続変数と整数変数を同時に最適化する混合整数ブラックボックス最適化(MI-BBO)問題である。
本研究の焦点であるCMA-ESは,多変量ガウス分布(MGD)から解候補を抽出する確率探索法であり,連続BBOにおいて優れた性能を示す。
CMA-ESにおける候補解の評価値に基づいてMGD,平均および(共)分散のパラメータを更新する。
しかし、CMA-ESを直接離散化でMI-BBOに適用すると、整数変数に対応する分散は最適解に到達する前の離散化の粒度よりもはるかに小さくなり、最適化が停滞する。
特に、バイナリ変数が問題に含まれる場合、この停滞は、離散化の粒度が広くなり、既存のCMA-ESへの修正がこの停滞に対処しないため、より起こりやすい。
これらの制限を克服するために,MGDにおける整数変数の生成に伴う限界確率の低境界に基づくCMA-ESの簡単な修正を提案する。
MI-BBOベンチマーク問題に対する数値実験により,提案手法の有効性とロバスト性を示した。
関連論文リスト
- Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。
数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
論文 参考訳(メタデータ) (2023-08-31T14:16:30Z) - (1+1)-CMA-ES with Margin for Discrete and Mixed-Integer Problems [6.181926091202142]
本稿では,CMA-ESのエリート版である (1+1)-CMA-ES にマージン補正を導入する。
1+1)-CMA-ESは、しばしば単項関数に有利であり、計算コストが低い。
混合整数、整数、二項領域のベンチマーク関数を用いた数値シミュレーションにより、(1+1)-CMA-ESのマージンは(1+1)-CMA-ESのマージンよりも優れていた。
論文 参考訳(メタデータ) (2023-05-01T14:34:55Z) - Natural Evolution Strategy for Mixed-Integer Black-Box Optimization [0.0]
CMA-ES w. MarginはMI-BBOベンチマーク問題で優れた性能を示したと伝えられている。
DX-NES-ICI は CMA-ES w. Margin の3.7倍の速度で最適解を求めることができた。
論文 参考訳(メタデータ) (2023-04-21T03:34:22Z) - Marginal Probability-Based Integer Handling for CMA-ES Tackling
Single-and Multi-Objective Mixed-Integer Black-Box Optimization [10.42820615166362]
連続変数と整数変数を同時に最適化する混合整数ブラックボックス最適化(MI-BBO)問題について検討する。
MGDにおける整数変数の生成に関連する限界確率の低境界に基づいて,CMA-ESに対する単純な整数処理を提案する。
論文 参考訳(メタデータ) (2022-12-19T06:08:20Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - MMES: Mixture Model based Evolution Strategy for Large-Scale
Optimization [36.37871629761407]
本研究は,大規模環境下での共分散行列適応進化戦略(CMA-ES)の効率的なサンプリング手法を提供する。
この混合モデルの確率分布を解析し、CMA-ESのガウス分布を制御可能な精度で近似することを示す。
このサンプリング法と変異強度適応法を組み合わせて混合モデルに基づく進化戦略(MMES)を定式化する。
論文 参考訳(メタデータ) (2022-03-15T14:33:37Z) - A unified algorithm framework for mean-variance optimization in
discounted Markov decision processes [7.510742715895749]
本稿では,無限水平割引マルコフ決定過程(MDP)におけるリスク-逆平均分散最適化について検討する。
本稿では,処理不能なMPPを標準形式で再定義された報酬関数を持つ標準形式に変換するための擬似平均を導入する。
平均分散最適化のための2レベル最適化構造を持つ統合アルゴリズムフレームワークを提案する。
論文 参考訳(メタデータ) (2022-01-15T02:19:56Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth
Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。
定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。
我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文 参考訳(メタデータ) (2021-06-30T18:32:46Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文 参考訳(メタデータ) (2020-02-20T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。