論文の概要: Abnormal Mutations: Evolution Strategies Don't Require Gaussianity

• arxiv url: http://arxiv.org/abs/2502.03148v1
• Date: Wed, 05 Feb 2025 13:17:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:36.921723
• Title: Abnormal Mutations: Evolution Strategies Don't Require Gaussianity
• Title（参考訳）: 異常変異:進化戦略はガウス性を必要としない
• Authors: Jacob de Nobel, Diederick Vermetten, Hao Wang, Anna V. Kononova, Günter Rudolph, Thomas Bäck,
• Abstract要約: 本稿では,(1+1)-ESからCMA-ESまで,幅広い進化戦略が同等の最適化性能を示すことを実証的に示す。 これらの結果は、スフィアモデルだけでなく、より広範なベンチマーク問題にも当てはまる。
• 参考スコア（独自算出の注目度）: 3.9100702878800644
• License:
• Abstract: The mutation process in evolution strategies has been interlinked with the normal distribution since its inception. Many lines of reasoning have been given for this strong dependency, ranging from maximum entropy arguments to the need for isotropy. However, some theoretical results suggest that other distributions might lead to similar local convergence properties. This paper empirically shows that a wide range of evolutionary strategies, from the (1+1)-ES to CMA-ES, show comparable optimization performance when using a mutation distribution other than the standard Gaussian. Replacing it with, e.g., uniformly distributed mutations, does not deteriorate the performance of ES, when using the default adaptation mechanism for the strategy parameters. We observe that these results hold not only for the sphere model but also for a wider range of benchmark problems.
• Abstract（参考訳）: 進化戦略における突然変異過程は、その発生以来、正常な分布と相互に関連付けられてきた。 この強い依存に対して、最大エントロピー論から等方性の必要性まで、多くの推論が与えられた。 しかし、いくつかの理論的な結果は、他の分布が同様の局所収束性をもたらすことを示唆している。 本稿では, (1+1)-ES から CMA-ES までの幅広い進化戦略が, 標準ガウス分布以外の突然変異分布を用いた場合の最適化性能に匹敵することを示した。 戦略パラメータのデフォルト適応機構を使用する場合、例えば、均一に分散された突然変異で置き換えても、ESの性能は低下しない。 これらの結果は、スフィアモデルだけでなく、より広範なベンチマーク問題にも当てはまる。

関連論文リスト

• Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution [6.144680854063938]
  本研究では,その収束特性を明らかにするために,ランダムな学習率を持つ勾配降下(SGD)の変種を考察する。 ポアソンSGDによって更新されたパラメータの分布は、弱い仮定の下で定常分布に収束することを示した。
  論文  参考訳（メタデータ） (2024-06-23T06:52:33Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Fat-Tailed Variational Inference with Anisotropic Tail Adaptive Flows [53.32246823168763]
  脂肪尾密度は、一般に、ロバストモデルとスケール混合における後縁および辺縁分布として生じる。 我々はまず、尾が尾崩壊の速度にどのように影響するかを定量化することで、リプシッツフローの尾に関する以前の理論を改善した。 次に、テール異方性に敏感なテールパラメータの代替理論を開発する。
  論文  参考訳（メタデータ） (2022-05-16T18:03:41Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• A Rank based Adaptive Mutation in Genetic Algorithm [0.0]
  本稿では,染色体ランクを用いた突然変異確率生成の代替手法を提案する。 単純な遺伝的アルゴリズム(SGA)と一定の突然変異確率と限られた資源制約内での適応的アプローチとの比較実験を行った。
  論文  参考訳（メタデータ） (2021-04-18T12:41:33Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• On Non-Elitist Evolutionary Algorithms Optimizing Fitness Functions with a Plateau [2.28438857884398]
  我々は、非楕円進化アルゴリズム(EA)の期待ランタイムを考える。 適応度選択のEAは、ビットワイズ変異が突然変異確率の標準設定で使用される場合、非効率であることが示される。
  論文  参考訳（メタデータ） (2020-04-18T03:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。