論文の概要: CMA-ES with Learning Rate Adaptation: Can CMA-ES with Default Population
Size Solve Multimodal and Noisy Problems?
- arxiv url: http://arxiv.org/abs/2304.03473v3
- Date: Thu, 14 Sep 2023 06:51:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 19:08:04.442962
- Title: CMA-ES with Learning Rate Adaptation: Can CMA-ES with Default Population
Size Solve Multimodal and Noisy Problems?
- Title（参考訳）: 学習率適応を伴うCMA-ES:CMA-ESはマルチモーダルとノイズを解消できるか?
- Authors: Masahiro Nomura, Youhei Akimoto, Isao Ono
- Abstract要約: デフォルトの人口規模を持つCMA-ESがマルチモーダルおよびノイズの問題を解くことができるかどうかを検討する。
我々は,CMA-ESのための新しい学習率適応機構を開発し,一定の信号対雑音比を維持するために学習率を適応させる。
その結果,提案した学習率適応を用いた場合,既定人口規模CMA-ESは,マルチモーダルおよび/またはノイズ問題に対して有効であることがわかった。
- 参考スコア（独自算出の注目度）: 9.114392580988552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The covariance matrix adaptation evolution strategy (CMA-ES) is one of the
most successful methods for solving black-box continuous optimization problems.
One practically useful aspect of the CMA-ES is that it can be used without
hyperparameter tuning. However, the hyperparameter settings still have a
considerable impact, especially for difficult tasks such as solving multimodal
or noisy problems. In this study, we investigate whether the CMA-ES with
default population size can solve multimodal and noisy problems. To perform
this investigation, we develop a novel learning rate adaptation mechanism for
the CMA-ES, such that the learning rate is adapted so as to maintain a constant
signal-to-noise ratio. We investigate the behavior of the CMA-ES with the
proposed learning rate adaptation mechanism through numerical experiments, and
compare the results with those obtained for the CMA-ES with a fixed learning
rate. The results demonstrate that, when the proposed learning rate adaptation
is used, the CMA-ES with default population size works well on multimodal
and/or noisy problems, without the need for extremely expensive learning rate
tuning.
- Abstract（参考訳）: 共分散行列適応進化戦略(CMA-ES)はブラックボックス連続最適化問題の解法として最も成功した手法の1つである。
CMA-ESの実用的な側面の1つは、ハイパーパラメータチューニングなしで使用できることである。
しかし、ハイパーパラメータ設定は、特にマルチモーダル問題やノイズ問題などの困難なタスクに対して、依然としてかなりの影響がある。
本研究では, 既定人口規模を有するCMA-ESがマルチモーダル, ノイズを解消できるかどうかを検討する。
本研究では,CMA-ESのための新しい学習率適応機構を開発し,学習率を一定信号対雑音比を維持するようにした。
数値実験により,CMA-ESと提案した学習率適応機構の挙動について検討し,CMA-ESで得られた結果と一定の学習率との比較を行った。
提案した学習率適応を用いた場合,CMA-ESは,高コストの学習率チューニングを必要とせず,マルチモーダルおよび/またはノイズ問題に対して有効であることを示す。
関連論文リスト
- CMA-ES with Adaptive Reevaluation for Multiplicative Noise [1.3108652488669732]
CMA-ES (RA-CMA-ES) は,2つの更新方向を半分の値を用いて計算し,その2つの更新方向の推定相関に再評価の回数を適応させる。
数値シミュレーションにより, RA-CMA-ESは乗算雑音下で比較法より優れていた。
論文 参考訳（メタデータ） (2024-05-19T07:42:10Z) - CMA-ES with Learning Rate Adaptation [8.109613242730163]
本研究は,CMA-ESの性能に及ぼす学習率の影響を考察し,少ない学習率の必要性を実証する。
我々は,一定信号対雑音比を維持するCMA-ESの新しい学習率適応機構を開発した。
提案した学習率適応型CMA-ESは,高コストの学習率チューニングを伴わないマルチモーダルおよび/またはノイズ問題に対して有効であることを示す。
論文 参考訳（メタデータ） (2024-01-29T04:16:22Z) - Beyond Exponentially Fast Mixing in Average-Reward Reinforcement
Learning via Multi-Level Monte Carlo Actor-Critic [61.968469104271676]
本稿では,アクター・アクターとアクター・アクター・アクター・アルゴリズムに埋め込まれた平均報酬に対して,マルチレベルモンテカルロ推定器を用いて混合時間に適応したRL手法を提案する。
不安定な報酬を伴うRL問題において,安定性に要求される技術的条件の緩和効果が,実用上優れた性能に変換されることを実験的に示す。
論文 参考訳（メタデータ） (2023-01-28T04:12:56Z) - Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文 参考訳（メタデータ） (2023-01-18T04:54:58Z) - Solving Continuous Control via Q-learning [54.05120662838286]
深いQ-ラーニングの簡単な修正は、アクター批判的手法による問題を大幅に軽減することを示します。
バンバン動作の離散化と値分解、協調マルチエージェント強化学習(MARL)としての単一エージェント制御のフレーミングにより、このシンプルな批判のみのアプローチは、最先端の連続アクター批判法の性能と一致する。
論文 参考訳（メタデータ） (2022-10-22T22:55:50Z) - Hamiltonian Adaptive Importance Sampling [9.937177877192198]
本稿では,新しいハミルトン適応的重要度サンプリング(HAIS)手法を紹介する。
HAISは2段階の適応プロセスを実装し、並列HMCチェーンは各イテレーションで協調する。
最先端アルゴリズムの高次元問題において、大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2022-09-27T22:00:07Z) - Multi-Agent Reinforcement Learning via Adaptive Kalman Temporal
Difference and Successor Representation [32.80370188601152]
本稿では,マルチエージェント適応カルマン時間差分(MAK-TD)フレームワークとその継承表現に基づく変種(MAK-SR)を提案する。
提案するMAK-TD/SRフレームワークは,高次元マルチエージェント環境に関連付けられたアクション空間の連続的な性質を考察する。
論文 参考訳（メタデータ） (2021-12-30T18:21:53Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。
高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
論文 参考訳（メタデータ） (2020-10-31T08:05:34Z) - Multi-Task Multicriteria Hyperparameter Optimization [77.34726150561087]
この記事は最適なハイパーパラメータを選択する問題に関する数学的定式化から始まる。
この問題を解決するMTMC法の手順を述べる。
提案手法は畳み込みニューラルネットワークを用いて画像分類問題に対して評価する。
論文 参考訳（メタデータ） (2020-02-15T12:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。