論文の概要: CMA-ES with Learning Rate Adaptation

• arxiv url: http://arxiv.org/abs/2401.15876v1
• Date: Mon, 29 Jan 2024 04:16:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 16:02:12.630772
• Title: CMA-ES with Learning Rate Adaptation
• Title（参考訳）: 学習率適応型CMA-ES
• Authors: Masahiro Nomura, Youhei Akimoto, Isao Ono
• Abstract要約: 本研究は,CMA-ESの性能に及ぼす学習率の影響を考察し,少ない学習率の必要性を実証する。 我々は,一定信号対雑音比を維持するCMA-ESの新しい学習率適応機構を開発した。 提案した学習率適応型CMA-ESは,高コストの学習率チューニングを伴わないマルチモーダルおよび/またはノイズ問題に対して有効であることを示す。
• 参考スコア（独自算出の注目度）: 9.114392580988552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The covariance matrix adaptation evolution strategy (CMA-ES) is one of the most successful methods for solving continuous black-box optimization problems. A practically useful aspect of the CMA-ES is that it can be used without hyperparameter tuning. However, the hyperparameter settings still have a considerable impact on performance, especially for difficult tasks, such as solving multimodal or noisy problems. This study comprehensively explores the impact of learning rate on the CMA-ES performance and demonstrates the necessity of a small learning rate by considering ordinary differential equations. Thereafter, it discusses the setting of an ideal learning rate. Based on these discussions, we develop a novel learning rate adaptation mechanism for the CMA-ES that maintains a constant signal-to-noise ratio. Additionally, we investigate the behavior of the CMA-ES with the proposed learning rate adaptation mechanism through numerical experiments, and compare the results with those obtained for the CMA-ES with a fixed learning rate and with population size adaptation. The results show that the CMA-ES with the proposed learning rate adaptation works well for multimodal and/or noisy problems without extremely expensive learning rate tuning.
• Abstract（参考訳）: 共分散行列適応進化戦略(CMA-ES)は連続ブラックボックス最適化問題の解法として最も成功した手法の1つである。 CMA-ESの実用的な側面は、ハイパーパラメータチューニングなしで使用できることである。 しかし、ハイパーパラメータ設定は、特にマルチモーダルやノイズなどの困難なタスクにおいて、パフォーマンスにかなりの影響を与えている。 本研究は,CMA-ESの性能に及ぼす学習率の影響を包括的に検討し,通常の微分方程式を考慮した学習率の必要性を実証する。 その後、理想的な学習率の設定について論じる。 これらの議論に基づき,一定信号対雑音比を維持するCMA-ESの学習率適応機構を開発した。 さらに,提案する学習率適応機構とcma-esの挙動を数値実験により検証し,cma-esで得られた結果と一定の学習率,人口サイズ適応との比較を行った。 提案した学習率適応型CMA-ESは,高コストの学習率チューニングを伴わないマルチモーダルおよび/またはノイズ問題に対して有効であることを示す。

関連論文リスト

• Adaptive Swarm Mesh Refinement using Deep Reinforcement Learning with Local Rewards [12.455977048107671]
  Adaptive Mesh Refinement (AMR) は有限要素法(FEM)を改良する 我々は、AMRを複数の新しいエージェントに反復的に分割する、協調的、均質なエージェントのシステムとして定式化する。 我々のアプローチであるAdaptive Swarm Mesh Refinement (ASMR)は、効率的な安定した最適化を提供し、推論中にユーザ定義の解像度で高度に適応的なメッシュを生成する。
  論文  参考訳（メタデータ） (2024-06-12T17:26:54Z)
• CMA-ES with Adaptive Reevaluation for Multiplicative Noise [1.3108652488669732]
  CMA-ES (RA-CMA-ES) は,2つの更新方向を半分の値を用いて計算し,その2つの更新方向の推定相関に再評価の回数を適応させる。 数値シミュレーションにより, RA-CMA-ESは乗算雑音下で比較法より優れていた。
  論文  参考訳（メタデータ） (2024-05-19T07:42:10Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• CMA-ES with Learning Rate Adaptation: Can CMA-ES with Default Population Size Solve Multimodal and Noisy Problems? [9.114392580988552]
  デフォルトの人口規模を持つCMA-ESがマルチモーダルおよびノイズの問題を解くことができるかどうかを検討する。 我々は,CMA-ESのための新しい学習率適応機構を開発し,一定の信号対雑音比を維持するために学習率を適応させる。 その結果,提案した学習率適応を用いた場合,既定人口規模CMA-ESは,マルチモーダルおよび/またはノイズ問題に対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-04-07T04:36:27Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
  q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。 ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。 本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-22T14:18:39Z)
• Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
  我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。 高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
  論文  参考訳（メタデータ） (2020-10-31T08:05:34Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• MM-KTD: Multiple Model Kalman Temporal Differences for Reinforcement Learning [36.14516028564416]
  本稿では、最適制御ポリシーを学習するための革新的マルチモデルカルマン時間差分(MM-KTD)フレームワークを提案する。 システムのサンプリング効率を高めるために,能動的学習法を提案する。 実験の結果, MM-KTDフレームワークは最先端のフレームワークに比べて優れていた。
  論文  参考訳（メタデータ） (2020-05-30T06:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。