論文の概要: Sampling in CMA-ES: Low Numbers of Low Discrepancy Points
- arxiv url: http://arxiv.org/abs/2409.15941v1
- Date: Tue, 24 Sep 2024 10:04:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 07:51:57.004939
- Title: Sampling in CMA-ES: Low Numbers of Low Discrepancy Points
- Title(参考訳): CMA-ESにおけるサンプリング:低差点数
- Authors: Jacob de Nobel, Diederick Vermetten, Thomas H. W. Bäck, Anna V. Kononova,
- Abstract要約: 低差点の小さい固定集合を反復することで、デフォルトの均一分布よりも優れた性能が得られることを示す。
より低次元の場合、32個の特異な差分点を用いると、一様サンプリングよりも近いあるいは良い結果が得られる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Covariance Matrix Adaptation Evolution Strategy (CMA-ES) is one of the most successful examples of a derandomized evolution strategy. However, it still relies on randomly sampling offspring, which can be done via a uniform distribution and subsequently transforming into the required Gaussian. Previous work has shown that replacing this uniform sampling with a low-discrepancy sampler, such as Halton or Sobol sequences, can improve performance over a wide set of problems. We show that iterating through small, fixed sets of low-discrepancy points can still perform better than the default uniform distribution. Moreover, using only 128 points throughout the search is sufficient to closely approximate the empirical performance of using the complete pseudorandom sequence up to dimensionality 40 on the BBOB benchmark. For lower dimensionalities (below 10), we find that using as little as 32 unique low discrepancy points performs similar or better than uniform sampling. In 2D, for which we have highly optimized low discrepancy samples available, we demonstrate that using these points yields the highest empirical performance and requires only 16 samples to improve over uniform sampling. Overall, we establish a clear relation between the $L_2$ discrepancy of the used point set and the empirical performance of the CMA-ES.
- Abstract(参考訳): 共分散行列適応進化戦略(CMA-ES)は、デランドマイズされた進化戦略の最も成功した例の1つである。
しかし、これはいまだにランダムにサンプリングされた子孫に依存しており、それらは一様分布を通して実行され、その後要求されるガウス変換へと変換される。
これまでの研究では、この一様サンプリングを、Hlton や Sobol のような低分解率サンプリング器に置き換えることによって、幅広い問題に対して性能を向上させることが示されている。
低差点の小さい固定集合を反復することで、デフォルトの均一分布よりも優れた性能が得られることを示す。
さらに,BBOBベンチマークにおいて,完全擬似乱数列を用いた経験的性能を最大40次元まで近似するのには,探索全体で128点しか使用できない。
低次元(以下10)の場合、32個の特異な低差点を用いると、一様サンプリングよりも類似または良好に動作する。
高度に最適化された低差分サンプルを持つ2Dでは,これらの点を用いることで実験性能が向上し,一様サンプリングよりも改善するためには16サンプルしか必要としないことを示した。
全体として、使用済み点集合の$L_2$差分とCMA-ESの実証性能の関係を明確にする。
関連論文リスト
- Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-08T16:06:29Z) - Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。
我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
論文 参考訳(メタデータ) (2022-07-16T03:09:30Z) - Sampling without Replacement Leads to Faster Rates in Finite-Sum Minimax
Optimization [12.794526174053134]
滑らかな有限サム最小値最適化のための勾配アルゴリズムの収束速度を解析する。
このようなアルゴリズムの多くは、置換のないサンプリングポイントが、置換したサンプリングよりも高速な収束をもたらすことを示している。
論文 参考訳(メタデータ) (2022-06-07T00:37:37Z) - Undersampling is a Minimax Optimal Robustness Intervention in
Nonparametric Classification [28.128464387420216]
マイノリティグループサンプルの欠如によって学習が根本的に制約されていることを示す。
特にラベルシフトの場合、最小値のアンダーサンプリングアルゴリズムが常に存在することを示す。
論文 参考訳(メタデータ) (2022-05-26T00:35:11Z) - Conditional Poisson Stochastic Beam Search [35.60062127942947]
条件付きポアソンビームサーチ(CPSBS)は、Coolらによる2019年のビームサーチ(SBS)より自然な代替品である。
CPSBSはSBSよりも低い分散とより効率的な推定器を生成し、高いエントロピー設定の改善を示す。
論文 参考訳(メタデータ) (2021-09-22T20:49:16Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-06-22T16:07:02Z) - On the Comparison between Cyclic Sampling and Random Reshuffling [27.27774034428748]
周期的なサンプリングは、サンプルを周期的に再シャッフルするよりも頑丈でない、固定された循環的な順序でサンプルを引き出す。
既存の研究は、循環サンプリングにおける最悪のケース収束率を確立しており、一般にランダムリシャフリングよりも悪い。
本論文では,リシャッフルよりも一定の周期順序の方がはるかに早く,低コストで発見できることを発見した。
論文 参考訳(メタデータ) (2021-04-25T09:29:43Z) - GANs with Variational Entropy Regularizers: Applications in Mitigating
the Mode-Collapse Issue [95.23775347605923]
深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。
GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。
情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
論文 参考訳(メタデータ) (2020-09-24T19:34:37Z) - The Bures Metric for Generative Adversarial Networks [10.69910379275607]
GAN(Generative Adversarial Networks)は、高品質なサンプルを生成する高性能な生成手法である。
実バッチの多様性と偽バッチの多様性を一致させることを提案する。
多様性マッチングはモード崩壊を著しく低減し, サンプル品質に肯定的な影響を及ぼす。
論文 参考訳(メタデータ) (2020-06-16T12:04:41Z) - Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。
これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文 参考訳(メタデータ) (2020-06-10T12:48:37Z) - Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。
我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
論文 参考訳(メタデータ) (2020-04-23T05:00:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。