論文の概要: CMA-ES with Adaptive Reevaluation for Multiplicative Noise

• arxiv url: http://arxiv.org/abs/2405.11471v1
• Date: Sun, 19 May 2024 07:42:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 17:28:11.676864
• Title: CMA-ES with Adaptive Reevaluation for Multiplicative Noise
• Title（参考訳）: CMA-ESによる乗算雑音の適応的再評価
• Authors: Kento Uchida, Kenta Nishihara, Shinichi Shirakawa,
• Abstract要約: CMA-ES (RA-CMA-ES) は,2つの更新方向を半分の値を用いて計算し,その2つの更新方向の推定相関に再評価の回数を適応させる。 数値シミュレーションにより, RA-CMA-ESは乗算雑音下で比較法より優れていた。
• 参考スコア（独自算出の注目度）: 1.3108652488669732
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The covariance matrix adaptation evolution strategy (CMA-ES) is a powerful optimization method for continuous black-box optimization problems. Several noise-handling methods have been proposed to bring out the optimization performance of the CMA-ES on noisy objective functions. The adaptations of the population size and the learning rate are two major approaches that perform well under additive Gaussian noise. The reevaluation technique is another technique that evaluates each solution multiple times. In this paper, we discuss the difference between those methods from the perspective of stochastic relaxation that considers the maximization of the expected utility function. We derive that the set of maximizers of the noise-independent utility, which is used in the reevaluation technique, certainly contains the optimal solution, while the noise-dependent utility, which is used in the population size and leaning rate adaptations, does not satisfy it under multiplicative noise. Based on the discussion, we develop the reevaluation adaptation CMA-ES (RA-CMA-ES), which computes two update directions using half of the evaluations and adapts the number of reevaluations based on the estimated correlation of those two update directions. The numerical simulation shows that the RA-CMA-ES outperforms the comparative method under multiplicative noise, maintaining competitive performance under additive noise.
• Abstract（参考訳）: 共分散行列適応進化戦略(CMA-ES)は、連続ブラックボックス最適化問題に対する強力な最適化手法である。 雑音対象関数に対するCMA-ESの最適化性能を実現するために,いくつかのノイズハンドリング手法が提案されている。 集団の大きさと学習率の適応は、加法的ガウス雑音下でうまく機能する2つの主要なアプローチである。 再評価手法は、各解を複数回評価する別の手法である。 本稿では,期待される実用関数の最大化を考慮した確率緩和の観点から,これらの手法の違いについて論じる。 再評価手法で使用される雑音非依存ユーティリティの最大値集合は、確実に最適解を含むが、人口規模や傾き率の適応に使用される雑音依存ユーティリティは乗法ノイズ下では満足しない。 本研究は,再評価適応CMA-ES (RA-CMA-ES) を開発し,その半分を用いて2つの更新方向を計算し,その2つの更新方向の推定相関に基づいて再評価数を適応させる。 数値シミュレーションにより, RA-CMA-ESは乗算雑音下で比較法より優れ, 加算雑音下での競争性能が維持されることがわかった。

関連論文リスト

• An Adaptive Re-evaluation Method for Evolution Strategy under Additive Noise [3.92625489118339]
  本稿では,加法的なガウスホワイトノイズによる関数値の最適再評価数を適応的に選択する手法を提案する。 実験では,CMA-ESのノイズハンドリング手法を人工的なテスト関数の集合上で実験的に比較した。
  論文  参考訳（メタデータ） (2024-09-25T09:10:21Z)
• CMA-ES with Learning Rate Adaptation [8.109613242730163]
  本研究は,CMA-ESの性能に及ぼす学習率の影響を考察し,少ない学習率の必要性を実証する。 我々は,一定信号対雑音比を維持するCMA-ESの新しい学習率適応機構を開発した。 提案した学習率適応型CMA-ESは,高コストの学習率チューニングを伴わないマルチモーダルおよび/またはノイズ問題に対して有効であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T04:16:22Z)
• Adaptive Noise Covariance Estimation under Colored Noise using Dynamic Expectation Maximization [1.550120821358415]
  カラーノイズを受ける動的システムのNCMを精度良く推定する,脳に触発された新しいアルゴリズムを提案する。 我々は、NCM推定器がこの自由エネルギー目標の大域的最適値に収束することを数学的に証明する。 特に,本手法は,高色雑音に対する関節雑音および状態推定において,最良ベースライン(可変ベイズ)よりも優れることを示す。
  論文  参考訳（メタデータ） (2023-08-15T14:21:53Z)
• CMA-ES with Learning Rate Adaptation: Can CMA-ES with Default Population Size Solve Multimodal and Noisy Problems? [9.114392580988552]
  デフォルトの人口規模を持つCMA-ESがマルチモーダルおよびノイズの問題を解くことができるかどうかを検討する。 我々は,CMA-ESのための新しい学習率適応機構を開発し,一定の信号対雑音比を維持するために学習率を適応させる。 その結果,提案した学習率適応を用いた場合,既定人口規模CMA-ESは,マルチモーダルおよび/またはノイズ問題に対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-04-07T04:36:27Z)
• Fast and efficient speech enhancement with variational autoencoders [0.0]
  変分オートエンコーダに基づく教師なし音声強調は、一般的な教師付き手法と比較して有望な性能を示した。 本稿では,複数のサンプル列を生成するランゲヴィン力学に基づく新しい手法を提案する。 提案手法は, 計算効率と品質向上を効果的に両立させ, 既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-02T09:52:13Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
  シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。 本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。 より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
  論文  参考訳（メタデータ） (2021-05-25T19:48:35Z)
• Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence [66.83161885378192]
  ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。 本稿では,深層学習のためのAUPRCの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:22:21Z)
• Kalman meets Bellman: Improving Policy Evaluation through Value Tracking [59.691919635037216]
  政策評価は強化学習(RL)における重要なプロセスである 我々はKalman Optimization for Value Approximation (KOVA)と呼ばれる最適化手法を考案した。 KOVAはパラメータとノイズリターンの不確実性の両方に関する正規化対象関数を最小化する。
  論文  参考訳（メタデータ） (2020-02-17T13:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。