論文の概要: Assessing Ranking and Effectiveness of Evolutionary Algorithm
Hyperparameters Using Global Sensitivity Analysis Methodologies
- arxiv url: http://arxiv.org/abs/2207.04820v1
- Date: Mon, 11 Jul 2022 12:39:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-12 18:44:36.648170
- Title: Assessing Ranking and Effectiveness of Evolutionary Algorithm
Hyperparameters Using Global Sensitivity Analysis Methodologies
- Title（参考訳）: グローバル感度解析手法を用いた進化的アルゴリズムハイパーパラメータのランクと有効性の評価
- Authors: Varun Ojha and Jon Timmis and Giuseppe Nicosia
- Abstract要約: 本稿では、アルゴリズム構成問題として、2つの単目的と2つの多目的のグローバル最適化アルゴリズムの総合的グローバル感度解析について述べる。
- 参考スコア（独自算出の注目度）: 1.8397598629548875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a comprehensive global sensitivity analysis of two
single-objective and two multi-objective state-of-the-art global optimization
evolutionary algorithms as an algorithm configuration problem. That is, we
investigate the quality of influence hyperparameters have on the performance of
algorithms in terms of their direct effect and interaction effect with other
hyperparameters. Using three sensitivity analysis methods, Morris LHS, Morris,
and Sobol, to systematically analyze tunable hyperparameters of covariance
matrix adaptation evolutionary strategy, differential evolution, non-dominated
sorting genetic algorithm III, and multi-objective evolutionary algorithm based
on decomposition, the framework reveals the behaviors of hyperparameters to
sampling methods and performance metrics. That is, it answers questions like
what hyperparameters influence patterns, how they interact, how much they
interact, and how much their direct influence is. Consequently, the ranking of
hyperparameters suggests their order of tuning, and the pattern of influence
reveals the stability of the algorithms.
- Abstract（参考訳）: アルゴリズム構成問題として,2つの単目的および2つの多目的大域最適化アルゴリズムの包括的大域的感度解析を提案する。
すなわち,ハイパーパラメータがアルゴリズムの性能に与える影響について,その直接効果と他のハイパーパラメータとの相互作用効果の観点から検討する。
morris lhs、morris、sobolの3つの感度分析法を用いて、共分散行列適応進化戦略、微分進化、非支配的ソート遺伝アルゴリズムiii、および分解に基づく多目的進化アルゴリズムの可変ハイパーパラメータを体系的に分析し、ハイパーパラメータの振る舞いをサンプリング法とパフォーマンスメトリクスに明らかにする。
つまり、ハイパーパラメータがパターンにどんな影響を与えるか、その相互作用の仕方、相互作用の度合い、そしてそれらの直接的影響の程度といった疑問に答えるのです。
その結果、ハイパーパラメータのランク付けはチューニングの順序を示唆し、影響のパターンはアルゴリズムの安定性を明らかにする。
関連論文リスト
- A Comparative Study of Hyperparameter Tuning Methods [0.0]
木構造型Parzen Estimator (TPE)、遺伝的検索、ランダム検索は回帰および分類タスク間で評価される。
ランダム検索は回帰タスクに優れ、TPEは分類タスクに効果的であった。
論文 参考訳（メタデータ） (2024-08-29T10:35:07Z) - Robustness of Algorithms for Causal Structure Learning to Hyperparameter
Choice [2.3020018305241337]
ハイパーパラメータチューニングは、どんなアルゴリズムでも最先端と予測性能の低さを区別することができる。
本稿では,ハイパーパラメータ選択が因果構造学習タスクに及ぼす影響について検討する。
論文 参考訳（メタデータ） (2023-10-27T15:34:08Z) - Hyperparameter Adaptive Search for Surrogate Optimization: A
Self-Adjusting Approach [1.6317061277457001]
サーロゲート最適化(SO)アルゴリズムは高価なブラックボックス関数の最適化を約束している。
提案手法は,各問題とSOアプローチに特有の最も影響力のあるハイパーパラメータを同定し,修正する。
実験により,様々なSOアルゴリズムの性能向上におけるHASSOの有効性が示された。
論文 参考訳（メタデータ） (2023-10-12T01:26:05Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - A survey on multi-objective hyperparameter optimization algorithms for
Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。
メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。
また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文 参考訳（メタデータ） (2021-11-23T10:22:30Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - VisEvol: Visual Analytics to Support Hyperparameter Search through Evolutionary Optimization [4.237343083490243]
機械学習(ML)モデルのトレーニングフェーズでは、通常、いくつかのハイパーパラメータを設定する必要がある。
本稿では、ハイパーパラメータのインタラクティブな探索と、この進化過程への介入を支援するビジュアル分析ツールVisEvolを紹介する。
VisEvolの実用性と適用性は,2つのユースケースと,ツールの有効性を評価するML専門家へのインタビューで実証された。
論文 参考訳（メタデータ） (2020-12-02T13:43:37Z) - An Asymptotically Optimal Multi-Armed Bandit Algorithm and
Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。
また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。
実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文 参考訳（メタデータ） (2020-07-11T03:15:21Z) - EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm
for Constrained Global Optimization [68.8204255655161]
EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。
これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。
その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
論文 参考訳（メタデータ） (2020-07-09T10:19:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。