論文の概要: Mutation Strength Adaptation of the $(μ/μ_I, λ)$-ES for Large Population Sizes on the Sphere Function
- arxiv url: http://arxiv.org/abs/2408.09761v1
- Date: Mon, 19 Aug 2024 07:42:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 17:14:27.205508
- Title: Mutation Strength Adaptation of the $(μ/μ_I, λ)$-ES for Large Population Sizes on the Sphere Function
- Title（参考訳）: 球関数上の大集団サイズに対する$(μ/μ_I, λ)$-ESの変異強度適応
- Authors: Amir Omeradzic, Hans-Georg Beyer,
- Abstract要約: 多組換え$(mu/mu_I, lambda)$-ESの突然変異強度適応特性について検討した。
累積ステップサイズ適応と可変自己適応(sigma$SA)の標準実装を実験的に理論的に検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The mutation strength adaptation properties of a multi-recombinative $(\mu/\mu_I, \lambda)$-ES are studied for isotropic mutations. To this end, standard implementations of cumulative step-size adaptation (CSA) and mutative self-adaptation ($\sigma$SA) are investigated experimentally and theoretically by assuming large population sizes ($\mu$) in relation to the search space dimensionality ($N$). The adaptation is characterized in terms of the scale-invariant mutation strength on the sphere in relation to its maximum achievable value for positive progress. %The results show how the different $\sigma$-adaptation variants behave as $\mu$ and $N$ are varied. Standard CSA-variants show notably different adaptation properties and progress rates on the sphere, becoming slower or faster as $\mu$ or $N$ are varied. This is shown by investigating common choices for the cumulation and damping parameters. Standard $\sigma$SA-variants (with default learning parameter settings) can achieve faster adaptation and larger progress rates compared to the CSA. However, it is shown how self-adaptation affects the progress rate levels negatively. Furthermore, differences regarding the adaptation and stability of $\sigma$SA with log-normal and normal mutation sampling are elaborated.
- Abstract（参考訳）: 多組換え$(\mu/\mu_I, \lambda)$-ESの突然変異強度適応特性について検討した。
この目的のために、累積ステップサイズ適応(CSA)と可変自己適応(\sigma$SA)の標準実装を、探索空間次元(N$)に関して大きな集団サイズ(\mu$)を仮定することにより、実験的に理論的に検討した。
この適応は、球面上のスケール不変変異強度と、正の進行に対する最大達成可能な値とで特徴づけられる。
% 異なる $\sigma$-adaptation 変種が $\mu$ と $N$ の振る舞いを示す。
標準 CSA 変種は、球面上の適応特性と進行速度が顕著に異なり、$\mu$ または $N$ が変化するにつれて遅くなるかより速くなる。
これは累積および減衰パラメータの一般的な選択を調査することによって示される。
標準$\sigma$SA-variants(デフォルトの学習パラメータ設定を持つ)は、CSAよりも高速な適応と進捗率を達成することができる。
しかし,自己適応が進行率に悪影響を及ぼすことを示す。
さらに、対数正規および正規突然変異サンプリングによる$\sigma$SAの適応と安定性の相違について詳述した。
関連論文リスト
- On the Interaction of Adaptive Population Control with Cumulative Step-Size Adaptation [0.0]
累積ステップサイズ適応進化戦略$(mu/mu_I, lambda)$-CSA-ESについて3つの適応型集団制御戦略について検討した。
3つのPCSがCSA-ESに沿って実装され、球面、ランダム、ラストリギン関数のテストベッドで研究される。
CSA適応特性はPCSの性能に大きく影響した。
論文 参考訳（メタデータ） (2024-10-01T11:28:39Z) - Winning Prize Comes from Losing Tickets: Improve Invariant Learning by
Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。
LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。
Invariant Learning (EVIL) における変数探索手法を提案する。
論文 参考訳（メタデータ） (2023-10-25T06:10:57Z) - Score-based Causal Representation Learning with Interventions [54.735484409244386]
本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。
目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
論文 参考訳（メタデータ） (2023-01-19T18:39:48Z) - Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。
この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。
我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
論文 参考訳（メタデータ） (2022-02-02T11:58:56Z) - Adaptive Dilated Convolution For Human Pose Estimation [65.1530164940112]
適応拡張畳み込み(ADC)により,同じ空間サイズのマルチスケール特徴を生成・融合する。
これにより、ADCは融合スケールを適応的に調整できるため、ADCは様々な人間のサイズに最適化できる。
論文 参考訳（メタデータ） (2021-07-22T06:38:04Z) - Bayesian brains and the R\'enyi divergence [1.9573380763700712]
ベイズ脳仮説の下では、振る舞いの変動は生成的モデルパラメータよりも様々な先行に起因している。
ここでは、R'enyiの発散とその関連する変動境界を用いた行動変数の代替的説明を提供する。
論文 参考訳（メタデータ） (2021-07-12T14:14:36Z) - Breeding Diverse Packings for the Knapsack Problem by Means of
Diversity-Tailored Evolutionary Algorithms [13.026567958569965]
我々はknapsack問題(KP)に対する進化的多様性の最適化について研究する。
我々のゴールは、KP のよく知られた FPTAS によって計算された初期近似解で、すべての利益が少なくとも$(mu+1)$-EA である解の集団を進化させることである。
論文 参考訳（メタデータ） (2021-04-27T12:26:18Z) - Analysis of Evolutionary Diversity Optimisation for Permutation Problems [17.268191781480745]
最もよく研究された置換問題の3つに対する進化的多様性最適化に関する研究
その結果、これらの問題に対する多くの突然変異演算子により、最大多様な個体群への収束が保証された。
QAPLIBおよび合成インスタンス上で、制約のない、制約のない環境で実験を行う。
論文 参考訳（メタデータ） (2021-02-23T03:13:26Z) - Isotonic regression with unknown permutations: Statistics, computation,
and adaptation [13.96377843988598]
我々は、推定のミニマックスリスク(実証的な$L$損失)と適応の基本的な限界(適応度指数で定式化)について検討する。
バニラ時間プロシージャで可能な最小適応率を達成しつつ、最小限の最適化が可能なミルスキー分割推定器を提供する。
相補的な方向において、既存の推定器の自然な修正は、デシデラタの最適統計性能、計算効率、高速適応の少なくとも1つを満たすことができないことを示す。
論文 参考訳（メタデータ） (2020-09-05T22:17:51Z) - MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of
Gradients [112.00379151834242]
本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。
これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
論文 参考訳（メタデータ） (2020-06-21T21:47:43Z) - An Analysis of the Adaptation Speed of Causal Models [80.77896315374747]
最近、Bengioらは、すべての候補モデルの中で、$G$は、あるデータセットから別のデータセットに適応する最速のモデルであると推測した。
最適化からの収束率を用いた原因影響SCMの適応速度について検討する。
驚くべきことに、私たちは反因果モデルが有利である状況を見つけ、初期仮説を偽造する。
論文 参考訳（メタデータ） (2020-05-18T23:48:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。