論文の概要: Lazy Parameter Tuning and Control: Choosing All Parameters Randomly From
a Power-Law Distribution
- arxiv url: http://arxiv.org/abs/2104.06714v5
- Date: Fri, 10 Mar 2023 12:18:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-25 03:55:36.067594
- Title: Lazy Parameter Tuning and Control: Choosing All Parameters Randomly From
a Power-Law Distribution
- Title（参考訳）: 遅延パラメータチューニングと制御: パワーロー分布からすべてのパラメータをランダムに選択する
- Authors: Denis Antipov, Maxim Buzdalov, Benjamin Doerr
- Abstract要約: ほとんどの進化的アルゴリズムは複数のパラメータを持ち、その値は性能に大きな影響を及ぼす。
そこで本研究では,各繰り返しにおけるパラメータの値を,適切にスケールされたパワー・ロー分布からランダムに選択する,遅延だが効果的な解を提案する。
静的パラメータで知られている最高のパフォーマンスに匹敵する性能を保証する。
- 参考スコア（独自算出の注目度）: 8.34061303235504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most evolutionary algorithms have multiple parameters and their values
drastically affect the performance. Due to the often complicated interplay of
the parameters, setting these values right for a particular problem (parameter
tuning) is a challenging task. This task becomes even more complicated when the
optimal parameter values change significantly during the run of the algorithm
since then a dynamic parameter choice (parameter control) is necessary.
In this work, we propose a lazy but effective solution, namely choosing all
parameter values (where this makes sense) in each iteration randomly from a
suitably scaled power-law distribution. To demonstrate the effectiveness of
this approach, we perform runtime analyses of the $(1+(\lambda,\lambda))$
genetic algorithm with all three parameters chosen in this manner. We show that
this algorithm on the one hand can imitate simple hill-climbers like the
$(1+1)$ EA, giving the same asymptotic runtime on problems like OneMax,
LeadingOnes, or Minimum Spanning Tree. On the other hand, this algorithm is
also very efficient on jump functions, where the best static parameters are
very different from those necessary to optimize simple problems. We prove a
performance guarantee that is comparable to the best performance known for
static parameters. For the most interesting case that the jump size $k$ is
constant, we prove that our performance is asymptotically better than what can
be obtained with any static parameter choice. We complement our theoretical
results with a rigorous empirical study confirming what the asymptotic runtime
results suggest.
- Abstract（参考訳）: ほとんどの進化的アルゴリズムは複数のパラメータを持ち、その値は性能に大きく影響する。
パラメータの複雑な相互作用のため、特定の問題(パラメータチューニング)に対してこれらの値を正しく設定することは困難な作業である。
このタスクは、アルゴリズムの実行中に最適なパラメータ値が大幅に変化するとさらに複雑になるため、動的パラメータ選択(パラメータ制御)が必要となる。
本研究では,各イテレーションにおけるすべてのパラメータ値(これは理にかなっている)を,適度にスケールされたパワーロー分布からランダムに選択する,遅延だが効果的な解を提案する。
提案手法の有効性を示すために,1+(\lambda,\lambda)$の遺伝的アルゴリズムを,この方法で選択した3つのパラメータすべてを用いて実行時解析する。
このアルゴリズムは、OneMaxやLeadingOnes、Minimum Spanning Treeといった問題に対して、同じ漸近的ランタイムを提供する、1+1$ EAのような単純なヒルクライマーを模倣できることを示す。
一方、このアルゴリズムはジャンプ関数に対して非常に効率的であり、最もよい静的パラメータは単純な問題を最適化するために必要なパラメータとは大きく異なる。
我々は、静的パラメータで知られている最高のパフォーマンスに匹敵するパフォーマンス保証を証明します。
ジャンプサイズ$k$が一定である最も興味深いケースでは、静的パラメータの選択で得られるものよりも、漸近的にパフォーマンスが良いことを証明します。
我々は,漸近的ランタイムの結果が何を示唆しているかを確認する厳密な経験的研究で理論結果を補完する。
関連論文リスト
- A Multi-objective Newton Optimization Algorithm for Hyper-Parameter
Search [0.0]
このアルゴリズムを用いて畳み込みニューラルネットワークの多クラス物体検出問題に対する最適確率しきい値(8パラメータのベクトル)を探索する。
このアルゴリズムは、デフォルト値0.5に比べて総合的に高い真正(TP)と低い偽正(FP)率を生成する。
論文 参考訳（メタデータ） (2024-01-07T21:12:34Z) - Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。
本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
論文 参考訳（メタデータ） (2023-02-06T23:39:13Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳（メタデータ） (2022-11-28T17:41:48Z) - STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。
我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
論文 参考訳（メタデータ） (2021-11-01T15:43:36Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳（メタデータ） (2021-07-01T06:43:11Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - Optimal Static Mutation Strength Distributions for the $(1+\lambda)$
Evolutionary Algorithm on OneMax [1.0965065178451106]
人口が十分に大きくなると、このような最適な分布は驚くほど複雑で直感に反する可能性がある。
人口が十分に大きくなると、このような最適な分布は驚くほど複雑で直感に反する可能性がある。
論文 参考訳（メタデータ） (2021-02-09T16:56:25Z) - Parameters for the best convergence of an optimization algorithm
On-The-Fly [0.0]
この研究は、5つの異なるアルゴリズムを異なる目的関数でテストする実験的な概念で行われた。
正しいパラメータを見つけるために、"on-the-fly"と呼ばれる手法が適用された。
論文 参考訳（メタデータ） (2020-09-23T21:38:28Z) - Exploiting Higher Order Smoothness in Derivative-free Optimization and
Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。
予測勾配降下アルゴリズムのランダム化近似を考察する。
その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文 参考訳（メタデータ） (2020-06-14T10:42:23Z) - Weighted Random Search for Hyperparameter Optimization [0.0]
本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。
我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。
同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
論文 参考訳（メタデータ） (2020-04-03T15:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。