論文の概要: PED-ANOVA: Efficiently Quantifying Hyperparameter Importance in Arbitrary Subspaces

• arxiv url: http://arxiv.org/abs/2304.10255v2
• Date: Mon, 8 May 2023 23:16:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 15:38:22.489791
• Title: PED-ANOVA: Efficiently Quantifying Hyperparameter Importance in Arbitrary Subspaces
• Title（参考訳）: PED-ANOVA:任意部分空間におけるハイパーパラメータの重要性の効率的な定量化
• Authors: Shuhei Watanabe, Archit Bansal, Frank Hutter
• Abstract要約: 本稿ではPearson divergence(PED)を用いてHPIのクローズドフォーム計算を実現するアルゴリズムを提案する。 PED-ANOVAと呼ばれるこの新しいアルゴリズムは、異なる部分空間において重要なHPを識別できることを示す。
• 参考スコア（独自算出の注目度）: 38.661353409709314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent rise in popularity of Hyperparameter Optimization (HPO) for deep learning has highlighted the role that good hyperparameter (HP) space design can play in training strong models. In turn, designing a good HP space is critically dependent on understanding the role of different HPs. This motivates research on HP Importance (HPI), e.g., with the popular method of functional ANOVA (f-ANOVA). However, the original f-ANOVA formulation is inapplicable to the subspaces most relevant to algorithm designers, such as those defined by top performance. To overcome this issue, we derive a novel formulation of f-ANOVA for arbitrary subspaces and propose an algorithm that uses Pearson divergence (PED) to enable a closed-form calculation of HPI. We demonstrate that this new algorithm, dubbed PED-ANOVA, is able to successfully identify important HPs in different subspaces while also being extremely computationally efficient.
• Abstract（参考訳）: 近年のディープラーニングにおけるハイパーパラメータ最適化(hpo)の普及は、優れたハイパーパラメータ(hp)空間設計が強力なモデルのトレーニングに果たす役割を強調している。 逆に、優れたHP空間を設計することは、異なるHPの役割を理解することに依存する。 これはHP Importance (HPI)の研究を動機付けており、例えば、機能的ANOVA(f-ANOVA)の一般的な方法である。 しかし、オリジナルのf-アノヴァの定式化はアルゴリズム設計に最も関係のある部分空間、例えばトップパフォーマンスで定義された部分空間には適用できない。 この問題を解決するために、任意の部分空間に対するf-ANOVAの新たな定式化を導き、ピアソン発散(PED)を用いてHPIの閉形式計算を可能にするアルゴリズムを提案する。 PED-ANOVAと呼ばれるこの新しいアルゴリズムは,異なる部分空間における重要なHPの同定に成功し,計算効率も極めて高いことを示す。

関連論文リスト

• Hierarchical Preference Optimization: Learning to achieve goals via feasible subgoals prediction [71.81851971324187]
  本研究は階層型強化学習(HRL)の新しいアプローチである階層型優先度最適化(HPO)を導入する。 HPOは、複雑なロボット制御タスクを解く際に、非定常性と非実用的なサブゴール生成の問題に対処する。 挑戦的なロボットナビゲーションと操作タスクの実験はHPOの素晴らしいパフォーマンスを示しており、ベースラインよりも最大35%改善されている。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
  我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。 各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:26:14Z)
• Behavior of Hyper-Parameters for Selected Machine Learning Algorithms: An Empirical Investigation [3.441021278275805]
  ハイパーパラメータ(HP)は機械学習(ML)モデル開発において重要な部分であり、性能に大きな影響を与える可能性がある。 本稿では,3つのアルゴリズム(XGB),ランダムフォレスト(RF),フィードフォワードニューラルネットワーク(FFNN))の振る舞いを構造化データを用いて検討する。 実験により,HPの変動に伴うモデル性能の質的挙動を検証し,各HPのMLアルゴリズムの重要性を定量化し,最適領域に近い性能の安定性を検証した。
  論文  参考訳（メタデータ） (2022-11-15T22:14:52Z)
• Towards Unsupervised HPO for Outlier Detection [23.77292404327994]
  我々はメタラーニングに基づくHPODと呼ばれる最初の体系的アプローチを提案する。 HPODは、既存のODベンチマークデータセット上でのHPの大規模なコレクションの以前のパフォーマンスを生かしている。 将来性のあるHPを効率的に特定するために、シーケンシャルなモデルベースの最適化(元々は教師付き)を適用する。
  論文  参考訳（メタデータ） (2022-08-24T18:11:22Z)
• Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a Scalable Hyper-Ensemble Solution [21.130842136324528]
  我々は,Deep OD法のHP感度に関する最初の大規模解析を行った。 我々は,HP 構成の異なるモデルを組み立てる ROBOD と呼ばれる HP-robust でスケーラブルな深層アンサンブルモデルを設計する。
  論文  参考訳（メタデータ） (2022-06-15T16:46:00Z)
• FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
  本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-08T15:29:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Fast Computation of Hahn Polynomials for High Order Moments [2.022925087410209]
  本稿では、DHPの初期値とDHPパラメータの異なる値(alpha$と$beta$)を計算するための新しい数学的モデルを開発した。 計算コストと正しい生成が可能な最大サイズの観点から、最先端のアルゴリズムと比較される。
  論文  参考訳（メタデータ） (2021-11-10T22:28:21Z)
• DEHB: Evolutionary Hyberband for Scalable, Robust and Efficient Hyperparameter Optimization [33.80873355096445]
  我々はDHBと呼ばれる新しいHPO法を提案する。 従来のHPO法よりもはるかに強靭な性能を実現している。 また、計算時間でも効率的であり、概念的にはシンプルで実装が容易であり、新しいデフォルトHPO法に位置づけられる。
  論文  参考訳（メタデータ） (2021-05-20T15:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。