論文の概要: Sampling in CMA-ES: Low Numbers of Low Discrepancy Points

• arxiv url: http://arxiv.org/abs/2409.15941v1
• Date: Tue, 24 Sep 2024 10:04:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 07:51:57.004939
• Title: Sampling in CMA-ES: Low Numbers of Low Discrepancy Points
• Title（参考訳）: CMA-ESにおけるサンプリング:低差点数
• Authors: Jacob de Nobel, Diederick Vermetten, Thomas H. W. Bäck, Anna V. Kononova,
• Abstract要約: 低差点の小さい固定集合を反復することで、デフォルトの均一分布よりも優れた性能が得られることを示す。 より低次元の場合、32個の特異な差分点を用いると、一様サンプリングよりも近いあるいは良い結果が得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Covariance Matrix Adaptation Evolution Strategy (CMA-ES) is one of the most successful examples of a derandomized evolution strategy. However, it still relies on randomly sampling offspring, which can be done via a uniform distribution and subsequently transforming into the required Gaussian. Previous work has shown that replacing this uniform sampling with a low-discrepancy sampler, such as Halton or Sobol sequences, can improve performance over a wide set of problems. We show that iterating through small, fixed sets of low-discrepancy points can still perform better than the default uniform distribution. Moreover, using only 128 points throughout the search is sufficient to closely approximate the empirical performance of using the complete pseudorandom sequence up to dimensionality 40 on the BBOB benchmark. For lower dimensionalities (below 10), we find that using as little as 32 unique low discrepancy points performs similar or better than uniform sampling. In 2D, for which we have highly optimized low discrepancy samples available, we demonstrate that using these points yields the highest empirical performance and requires only 16 samples to improve over uniform sampling. Overall, we establish a clear relation between the $L_2$ discrepancy of the used point set and the empirical performance of the CMA-ES.
• Abstract（参考訳）: 共分散行列適応進化戦略(CMA-ES)は、デランドマイズされた進化戦略の最も成功した例の1つである。 しかし、これはいまだにランダムにサンプリングされた子孫に依存しており、それらは一様分布を通して実行され、その後要求されるガウス変換へと変換される。 これまでの研究では、この一様サンプリングを、Hlton や Sobol のような低分解率サンプリング器に置き換えることによって、幅広い問題に対して性能を向上させることが示されている。 低差点の小さい固定集合を反復することで、デフォルトの均一分布よりも優れた性能が得られることを示す。 さらに,BBOBベンチマークにおいて,完全擬似乱数列を用いた経験的性能を最大40次元まで近似するのには,探索全体で128点しか使用できない。 低次元(以下10)の場合、32個の特異な低差点を用いると、一様サンプリングよりも類似または良好に動作する。 高度に最適化された低差分サンプルを持つ2Dでは,これらの点を用いることで実験性能が向上し,一様サンプリングよりも改善するためには16サンプルしか必要としないことを示した。 全体として、使用済み点集合の$L_2$差分とCMA-ESの実証性能の関係を明確にする。

関連論文リスト

• Adaptive Inference-Time Compute: LLMs Can Predict if They Can Do Better, Even Mid-Generation [51.127054971591924]
  本稿では,生成サンプル数を適応的に削減する新たな自己評価手法を提案する。 平均1.2サンプルだけで16サンプルの使用による改善の74%が達成できることを実証した。
  論文  参考訳（メタデータ） (2024-10-03T17:47:29Z)
• Faster Diffusion Sampling with Randomized Midpoints: Sequential and Parallel [10.840582511203024]
  我々のアルゴリズムは、$widetilde O(log2 d)$ parallel roundsでのみ実行できるように並列化可能であることを示す。 また、我々のアルゴリズムは、$widetilde O(log2 d)$ parallel roundsでしか実行できないことを示す。
  論文  参考訳（メタデータ） (2024-06-03T01:34:34Z)
• Mini-batch Submodular Maximization [5.439020425819001]
  単調デコンポーザブルな部分モジュラ関数,$F=sum_i=1N fi$ を制約の下で最大化する,最初のミニバッチアルゴリズムを提案する。 我々は、一様と重み付けの2つのサンプリング手法を検討する。 意外なことに, 実験結果から, 均一サンプリングは加重サンプリングよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-23T04:16:58Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
  本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。 各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。 第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• Undersampling is a Minimax Optimal Robustness Intervention in Nonparametric Classification [28.128464387420216]
  マイノリティグループサンプルの欠如によって学習が根本的に制約されていることを示す。 特にラベルシフトの場合、最小値のアンダーサンプリングアルゴリズムが常に存在することを示す。
  論文  参考訳（メタデータ） (2022-05-26T00:35:11Z)
• Conditional Poisson Stochastic Beam Search [35.60062127942947]
  条件付きポアソンビームサーチ(CPSBS)は、Coolらによる2019年のビームサーチ(SBS)より自然な代替品である。 CPSBSはSBSよりも低い分散とより効率的な推定器を生成し、高いエントロピー設定の改善を示す。
  論文  参考訳（メタデータ） (2021-09-22T20:49:16Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• On the Comparison between Cyclic Sampling and Random Reshuffling [27.27774034428748]
  周期的なサンプリングは、サンプルを周期的に再シャッフルするよりも頑丈でない、固定された循環的な順序でサンプルを引き出す。 既存の研究は、循環サンプリングにおける最悪のケース収束率を確立しており、一般にランダムリシャフリングよりも悪い。 本論文では,リシャッフルよりも一定の周期順序の方がはるかに早く,低コストで発見できることを発見した。
  論文  参考訳（メタデータ） (2021-04-25T09:29:43Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。