論文の概要: Why can genetic algorithms work in high-dimensional search spaces?
- arxiv url: http://arxiv.org/abs/2606.30619v1
- Date: Mon, 29 Jun 2026 17:52:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.37052
- Title: Why can genetic algorithms work in high-dimensional search spaces?
- Title（参考訳）: なぜ遺伝的アルゴリズムは高次元検索空間で機能するのか?
- Authors: Stephen Whitelam,
- Abstract要約: 遺伝的アルゴリズムは、異方性ホワイトノイズの存在下での損失に対する勾配降下を切断した。
遺伝的アルゴリズムは勾配に横切る方向に作用するノイズのため勾配降下よりも遅い。
ニューラルネットワークの損失関数で観測されるヘッセンスペクトルでは、有効ランクはパラメータの数よりもはるかに小さい。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show that the effective dynamics of the elitist $(1+M)$ genetic algorithm is, in the limit of small mutations, clipped gradient descent on the loss in the presence of anisotropic Gaussian white noise. In expectation, therefore, a simple mutation-selection genetic algorithm follows the gradient of the loss, without explicit calculation of gradients and without averaging over loss evaluations. The genetic algorithm is slower than gradient descent because of the noise that acts in directions transverse to the gradient. However, this slowdown is controlled not by the number of parameters of the search space but by the effective rank of the Hessian of the loss function. For the concentrated Hessian spectra observed in neural-network loss functions the effective rank can be far smaller than the number of parameters, which may explain why genetic algorithms can scale to large search spaces.
- Abstract（参考訳）: 遺伝的アルゴリズムは,小突然変異の限界において,異方性ガウスホワイトノイズの存在下での損失に対するクリッピング勾配降下が有効であることを示す。
したがって、単純な突然変異選択遺伝的アルゴリズムは、損失の勾配を明示的に計算することなく、損失評価を平均化することなく、損失の勾配に従う。
遺伝的アルゴリズムは、勾配に横切る方向に作用するノイズのため、勾配降下よりも遅い。
しかし、この減速は探索空間のパラメータの数ではなく、損失関数のヘシアンの有効ランクによって制御される。
ニューラルネットワークの損失関数で観測されるヘッセンスペクトルでは、有効ランクはパラメータの数よりもはるかに小さくなり、なぜ遺伝的アルゴリズムが大規模な探索空間に拡張できるのかを説明することができる。
関連論文リスト
- An Accelerated Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness [15.656614304616006]
本稿では,上層関数が非凸であり,下層関数が強凸である二層最適化問題のクラスについて検討する。
これらの問題は、非有界ネットワークを用いたテキスト分類など、データ学習に大きな応用がある。
本稿では,AccBO という新しい高速化バイレベル最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-28T02:30:44Z) - Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。
本稿では,完全勾配の必要性を除去する。
集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
論文 参考訳（メタデータ） (2021-11-26T06:00:44Z) - Stochasticity helps to navigate rough landscapes: comparing
gradient-descent-based algorithms in the phase retrieval problem [8.164433158925593]
本研究では,動的降下,永続勾配,ランジュバン景観降下などの解析ベースアルゴリズムについて検討する。
統計的軌道からの統計場理論をアルゴリズムにフルタイムで適用し、開始時と大規模なシステムサイズで適用します。
論文 参考訳（メタデータ） (2021-03-08T17:06:18Z) - Reparametrizing gradient descent [0.0]
本稿では,ノルム適応勾配勾配という最適化アルゴリズムを提案する。
我々のアルゴリズムは準ニュートン法と比較することもできるが、定常点ではなく根を求める。
論文 参考訳（メタデータ） (2020-10-09T20:22:29Z) - Exploiting Higher Order Smoothness in Derivative-free Optimization and
Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。
予測勾配降下アルゴリズムのランダム化近似を考察する。
その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文 参考訳（メタデータ） (2020-06-14T10:42:23Z) - Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。
我々は、測定値の低減を行う降下ステップを適応的に選択する。
これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文 参考訳（メタデータ） (2020-06-02T17:52:59Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳（メタデータ） (2020-01-27T08:23:58Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。