論文の概要: Dynamic Hyperparameter Importance for Efficient Multi-Objective Optimization

• arxiv url: http://arxiv.org/abs/2601.03166v1
• Date: Tue, 06 Jan 2026 16:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:13.027905
• Title: Dynamic Hyperparameter Importance for Efficient Multi-Objective Optimization
• Title（参考訳）: 効率的な多目的最適化のための動的ハイパーパラメータの重要性
• Authors: Daphne Theodorakopoulos, Marcel Wever, Marius Lindauer,
• Abstract要約: 多目的最適化(MOO)は、適切なMLモデルを選択する際の目的をトレードオフするために用いられる。 本稿では,様々な目的のトレードオフに基づいて,最も影響力のあるハイパーパラメータを優先する,新しい動的最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 10.530794046739619
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Choosing a suitable ML model is a complex task that can depend on several objectives, e.g., accuracy, model size, fairness, inference time, or energy consumption. In practice, this requires trading off multiple, often competing, objectives through multi-objective optimization (MOO). However, existing MOO methods typically treat all hyperparameters as equally important, overlooking that hyperparameter importance (HPI) can vary significantly depending on the trade-off between objectives. We propose a novel dynamic optimization approach that prioritizes the most influential hyperparameters based on varying objective trade-offs during the search process, which accelerates empirical convergence and leads to better solutions. Building on prior work on HPI for MOO post-analysis, we now integrate HPI, calculated with HyperSHAP, into the optimization. For this, we leverage the objective weightings naturally produced by the MOO algorithm ParEGO and adapt the configuration space by fixing the unimportant hyperparameters, allowing the search to focus on the important ones. Eventually, we validate our method with diverse tasks from PyMOO and YAHPO-Gym. Empirical results demonstrate improvements in convergence speed and Pareto front quality compared to baselines.
• Abstract（参考訳）: 適切なMLモデルを選択することは、例えば、精度、モデルサイズ、公平性、推論時間、エネルギー消費など、いくつかの目的に依存する複雑なタスクである。 実際には、マルチオブジェクト最適化(MOO)を通じて、複数の、しばしば競合する目標をトレードオフする必要がある。 しかし、既存のMOO法は、通常、すべてのハイパーパラメータを同様に重要視しており、ハイパーパラメータの重要度(HPI)は目的間のトレードオフによって大きく異なる可能性がある。 本稿では,探索過程における様々な目的トレードオフに基づいて,最も影響力のあるハイパーパラメータを優先順位付けする,新しい動的最適化手法を提案する。 また、MOO後分析のためのHPIに関する先行研究に基づいて、HPIをHyperSHAPで計算したHPIを最適化に統合した。 このため、MOOアルゴリズムのParEGOが自然に生み出す目的重み付けを活用し、重要でないハイパーパラメータを固定することで構成空間に適応し、探索が重要なパラメータに集中できるようにする。 最終的に、PyMOO と YAHPO-Gym の様々なタスクで手法を検証する。 実験の結果, ベースラインに比べて収束速度とパレート前品質が向上した。

関連論文リスト

• Hyperparameter Importance Analysis for Multi-Objective AutoML [14.336028105614824]
  本稿では,多目的最適化タスクにおけるハイパーパラメータの重要性を評価するための最初の手法を提案する。 具体的には、目的のa-prioriスキャラライゼーションを計算し、異なる目的のトレードオフに対するハイパーパラメータの重要性を決定する。
  論文  参考訳（メタデータ） (2024-05-13T11:00:25Z)
• Parallel Multi-Objective Hyperparameter Optimization with Uniform Normalization and Bounded Objectives [5.94867851915494]
  これらの問題に対処する多目的ベイズ最適化(MoBO)アルゴリズムを提案する。 不要な構成の探索を避けるため、目的に制約を課すことで、アプローチの効率を向上する。 最後に、MoBOを並列化するアプローチを活用し、16倍のワーカーを使用する場合、5倍のスピードアップをもたらす。
  論文  参考訳（メタデータ） (2023-09-26T13:48:04Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。