論文の概要: Hyperparameter Importance Analysis for Multi-Objective AutoML
- arxiv url: http://arxiv.org/abs/2405.07640v1
- Date: Mon, 13 May 2024 11:00:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 14:05:08.615378
- Title: Hyperparameter Importance Analysis for Multi-Objective AutoML
- Title(参考訳): 多目的オートMLにおけるハイパーパラメータの重要度解析
- Authors: Daphne Theodorakopoulos, Frederic Stahl, Marius Lindauer,
- Abstract要約: 本稿では,多目的ハイパーパラメータ最適化の文脈におけるハイパーパラメータの重要性を評価するための最初の手法を提案する。
具体的には、目的のa-prioriスキャラライゼーションを計算し、異なる目的のトレードオフに対するハイパーパラメータの重要性を決定する。
本研究は,MOOタスクにおけるハイパーパラメータチューニングのための貴重なガイダンスを提供するとともに,複雑な最適化シナリオにおけるHPI理解の促進にも寄与する。
- 参考スコア(独自算出の注目度): 14.336028105614824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter optimization plays a pivotal role in enhancing the predictive performance and generalization capabilities of ML models. However, in many applications, we do not only care about predictive performance but also about objectives such as inference time, memory, or energy consumption. In such MOO scenarios, determining the importance of hyperparameters poses a significant challenge due to the complex interplay between the conflicting objectives. In this paper, we propose the first method for assessing the importance of hyperparameters in the context of multi-objective hyperparameter optimization. Our approach leverages surrogate-based hyperparameter importance (HPI) measures, i.e. fANOVA and ablation paths, to provide insights into the impact of hyperparameters on the optimization objectives. Specifically, we compute the a-priori scalarization of the objectives and determine the importance of the hyperparameters for different objective tradeoffs. Through extensive empirical evaluations on diverse benchmark datasets with three different objectives paired with accuracy, namely time, demographic parity, and energy consumption, we demonstrate the effectiveness and robustness of our proposed method. Our findings not only offer valuable guidance for hyperparameter tuning in MOO tasks but also contribute to advancing the understanding of HPI in complex optimization scenarios.
- Abstract(参考訳): ハイパーパラメータ最適化は、MLモデルの予測性能と一般化能力を高める上で重要な役割を果たす。
しかし、多くのアプリケーションでは、予測性能だけでなく、推測時間、メモリ、エネルギー消費といった目的も気にしています。
このようなMOOシナリオでは、矛盾する目的間の複雑な相互作用により、ハイパーパラメーターの重要性を決定することが大きな課題となる。
本稿では,多目的ハイパーパラメータ最適化の文脈におけるハイパーパラメータの重要性を評価するための最初の手法を提案する。
提案手法は, 過度パラメータが最適化目標に与える影響を明らかにするため, HPI(Surrogate-based hyperparameter importance)尺度(fANOVA)とアブレーションパス(ablation paths)を利用する。
具体的には、目的のa-prioriスキャラライゼーションを計算し、異なる目的のトレードオフに対するハイパーパラメータの重要性を決定する。
提案手法の有効性とロバスト性を実証するために,3つの異なる目的を持つベンチマークデータセットを,時間,人口密度,エネルギー消費の精度と組み合わせた実験的な評価を行い,提案手法の有効性とロバスト性を実証した。
この結果は,MOOタスクにおけるハイパーパラメータチューニングのための貴重なガイダンスを提供するだけでなく,複雑な最適化シナリオにおけるHPI理解の促進にも寄与する。
関連論文リスト
- ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。
特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
論文 参考訳(メタデータ) (2024-05-30T17:26:02Z) - Parallel Multi-Objective Hyperparameter Optimization with Uniform
Normalization and Bounded Objectives [5.94867851915494]
これらの問題に対処する多目的ベイズ最適化(MoBO)アルゴリズムを提案する。
不要な構成の探索を避けるため、目的に制約を課すことで、アプローチの効率を向上する。
最後に、MoBOを並列化するアプローチを活用し、16倍のワーカーを使用する場合、5倍のスピードアップをもたらす。
論文 参考訳(メタデータ) (2023-09-26T13:48:04Z) - Interactive Hyperparameter Optimization in Multi-Objective Problems via
Preference Learning [65.51668094117802]
我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。
ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
論文 参考訳(メタデータ) (2023-09-07T09:22:05Z) - Prediction-Oriented Bayesian Active Learning [51.426960808684655]
予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。
EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-04-17T10:59:57Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳(メタデータ) (2022-09-09T14:58:43Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-03-15T19:25:01Z) - Hyperparameter Importance for Machine Learning Algorithms [0.0]
提案するデータのサブセットの重要性は、弱い条件下での人口データと一致している。
数値実験により、提案された重要性は一貫しており、多くの計算資源を節約できることが示された。
論文 参考訳(メタデータ) (2022-01-13T18:44:53Z) - Guided Hyperparameter Tuning Through Visualization and Inference [12.035299005299306]
本稿では,ディープラーニングの実践者がハイパーパラメータをより効率的に探索し,チューニングし,最適化することができる可視化システムを提案する。
鍵となる考え方は、予測メカニズムを使用して、より最適なハイパーパラメータを直接提案することである。
私たちはこのツールをディープラーニングモデルビルダーに関するユーザスタディで評価し、私たちの参加者はツールの採用にほとんど問題がなく、ワークフローの一部として作業しています。
論文 参考訳(メタデータ) (2021-05-24T19:55:24Z) - Efficient Hyperparameter Optimization under Multi-Source Covariate Shift [13.787554178089446]
教師あり機械学習の典型的な前提は、トレイン(ソース)とテスト(ターゲット)のデータセットが完全に同じ分布に従うことである。
本研究では,マルチソース共変量シフトの下で,新しいハイパーパラメータ最適化問題を考える。
本研究では,対象目標を望ましい分散特性で不偏に近似する分散低減推定器を構築する。
論文 参考訳(メタデータ) (2020-06-18T15:10:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。