Fugu-MT 論文翻訳(概要): Dynamic Hyperparameter Importance for Efficient Multi-Objective Optimization

論文の概要: Dynamic Hyperparameter Importance for Efficient Multi-Objective Optimization

arxiv url: http://arxiv.org/abs/2601.03166v1
Date: Tue, 06 Jan 2026 16:37:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-07 17:02:13.027905
Title: Dynamic Hyperparameter Importance for Efficient Multi-Objective Optimization
Title（参考訳）: 効率的な多目的最適化のための動的ハイパーパラメータの重要性
Authors: Daphne Theodorakopoulos, Marcel Wever, Marius Lindauer,
Abstract要約: 多目的最適化(MOO)は、適切なMLモデルを選択する際の目的をトレードオフするために用いられる。本稿では,様々な目的のトレードオフに基づいて,最も影響力のあるハイパーパラメータを優先する,新しい動的最適化手法を提案する。
参考スコア（独自算出の注目度）: 10.530794046739619
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Choosing a suitable ML model is a complex task that can depend on several objectives, e.g., accuracy, model size, fairness, inference time, or energy consumption. In practice, this requires trading off multiple, often competing, objectives through multi-objective optimization (MOO). However, existing MOO methods typically treat all hyperparameters as equally important, overlooking that hyperparameter importance (HPI) can vary significantly depending on the trade-off between objectives. We propose a novel dynamic optimization approach that prioritizes the most influential hyperparameters based on varying objective trade-offs during the search process, which accelerates empirical convergence and leads to better solutions. Building on prior work on HPI for MOO post-analysis, we now integrate HPI, calculated with HyperSHAP, into the optimization. For this, we leverage the objective weightings naturally produced by the MOO algorithm ParEGO and adapt the configuration space by fixing the unimportant hyperparameters, allowing the search to focus on the important ones. Eventually, we validate our method with diverse tasks from PyMOO and YAHPO-Gym. Empirical results demonstrate improvements in convergence speed and Pareto front quality compared to baselines.
Abstract（参考訳）: 適切なMLモデルを選択することは、例えば、精度、モデルサイズ、公平性、推論時間、エネルギー消費など、いくつかの目的に依存する複雑なタスクである。実際には、マルチオブジェクト最適化(MOO)を通じて、複数の、しばしば競合する目標をトレードオフする必要がある。しかし、既存のMOO法は、通常、すべてのハイパーパラメータを同様に重要視しており、ハイパーパラメータの重要度(HPI)は目的間のトレードオフによって大きく異なる可能性がある。本稿では,探索過程における様々な目的トレードオフに基づいて,最も影響力のあるハイパーパラメータを優先順位付けする,新しい動的最適化手法を提案する。また、MOO後分析のためのHPIに関する先行研究に基づいて、HPIをHyperSHAPで計算したHPIを最適化に統合した。このため、MOOアルゴリズムのParEGOが自然に生み出す目的重み付けを活用し、重要でないハイパーパラメータを固定することで構成空間に適応し、探索が重要なパラメータに集中できるようにする。最終的に、PyMOO と YAHPO-Gym の様々なタスクで手法を検証する。実験の結果, ベースラインに比べて収束速度とパレート前品質が向上した。

関連論文リスト

Parametric Pareto Set Learning for Expensive Multi-Objective Optimization [16.780031024741223]
パラメトリック多目的最適化(PMO)は、無限の多目的最適化問題を解くという課題に対処する。従来の手法では、各パラメータ設定を再実行する必要があるため、客観的評価が計算コストが高い場合には、不当なコストが発生する。
論文参考訳（メタデータ） (2025-11-08T03:05:28Z)
Hyperparameter Importance Analysis for Multi-Objective AutoML [14.336028105614824]
本稿では,多目的最適化タスクにおけるハイパーパラメータの重要性を評価するための最初の手法を提案する。具体的には、目的のa-prioriスキャラライゼーションを計算し、異なる目的のトレードオフに対するハイパーパラメータの重要性を決定する。
論文参考訳（メタデータ） (2024-05-13T11:00:25Z)
End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文参考訳（メタデータ） (2024-02-12T16:33:35Z)
Parallel Multi-Objective Hyperparameter Optimization with Uniform Normalization and Bounded Objectives [5.94867851915494]
これらの問題に対処する多目的ベイズ最適化(MoBO)アルゴリズムを提案する。不要な構成の探索を避けるため、目的に制約を課すことで、アプローチの効率を向上する。最後に、MoBOを並列化するアプローチを活用し、16倍のワーカーを使用する場合、5倍のスピードアップをもたらす。
論文参考訳（メタデータ） (2023-09-26T13:48:04Z)
Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
論文参考訳（メタデータ） (2023-09-07T09:22:05Z)
HomOpt: A Homotopy-Based Hyperparameter Optimization Method [10.11271414863925]
一般化加法モデル(GAM)とホモトピー最適化を組み合わせたデータ駆動型手法であるHomOptを提案する。本稿では,HomOptが任意のメソッドの性能と有効性を向上し,連続離散およびカテゴリー領域空間上での最適収束を高速化する方法について述べる。
論文参考訳（メタデータ） (2023-08-07T06:01:50Z)
BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
論文参考訳（メタデータ） (2023-06-01T04:50:06Z)
Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文参考訳（メタデータ） (2022-09-09T14:58:43Z)
Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文参考訳（メタデータ） (2022-07-07T04:42:54Z)
Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文参考訳（メタデータ） (2022-01-27T21:38:53Z)
A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文参考訳（メタデータ） (2021-11-23T10:22:30Z)
Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文参考訳（メタデータ） (2021-02-17T21:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。