論文の概要: Multi-objective Asynchronous Successive Halving

• arxiv url: http://arxiv.org/abs/2106.12639v1
• Date: Wed, 23 Jun 2021 19:39:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 15:18:31.244963
• Title: Multi-objective Asynchronous Successive Halving
• Title（参考訳）: 多目的非同期逐次Halving
• Authors: Robin Schmucker, Michele Donini, Muhammad Bilal Zafar, David Salinas, C\'edric Archambeau
• Abstract要約: 本稿では,非同期半減期 (ASHA) を多目的 (MO) 設定に拡張するアルゴリズムを提案する。 実験分析の結果,MO ASHAはMO HPOを大規模に実行可能であることがわかった。 我々のアルゴリズムは、この地域における将来の研究の新たなベースラインを確立する。
• 参考スコア（独自算出の注目度）: 10.632606255280649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization (HPO) is increasingly used to automatically tune the predictive performance (e.g., accuracy) of machine learning models. However, in a plethora of real-world applications, accuracy is only one of the multiple -- often conflicting -- performance criteria, necessitating the adoption of a multi-objective (MO) perspective. While the literature on MO optimization is rich, few prior studies have focused on HPO. In this paper, we propose algorithms that extend asynchronous successive halving (ASHA) to the MO setting. Considering multiple evaluation metrics, we assess the performance of these methods on three real world tasks: (i) Neural architecture search, (ii) algorithmic fairness and (iii) language model optimization. Our empirical analysis shows that MO ASHA enables to perform MO HPO at scale. Further, we observe that that taking the entire Pareto front into account for candidate selection consistently outperforms multi-fidelity HPO based on MO scalarization in terms of wall-clock time. Our algorithms (to be open-sourced) establish new baselines for future research in the area.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は、機械学習モデルの予測性能(例えば精度)を自動調整するために、ますます使われている。 しかし、現実世界のアプリケーションでは、精度は複数の(しばしば矛盾する)パフォーマンス基準の1つに過ぎず、多目的(MO)の観点を採用する必要がある。 MO最適化に関する文献は豊富だが、HPOに焦点を当てた先行研究はほとんどない。 本稿では,非同期連続半減期(ASHA)をMO設定に拡張するアルゴリズムを提案する。 複数の評価指標を考慮して,3つの実世界課題,すなわち(i)ニューラルアーキテクチャ探索,(ii)アルゴリズム的公平性,(iii)言語モデル最適化の性能評価を行った。 実験分析の結果,MO ASHAはMO HPOを大規模に実行可能であることがわかった。 さらに,パレートフロント全体を候補選択の考慮に入れることで,壁時計時間の観点からのmoスカラー化に基づくマルチ忠実度hpoを一貫して上回っていることを観察する。 私たちのアルゴリズム(オープンソース化)は、この分野における今後の研究のための新しいベースラインを確立します。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Is One Epoch All You Need For Multi-Fidelity Hyperparameter Optimization? [17.21160278797221]
  MF-HPO(Multi-fidelity HPO)は、学習過程における中間精度レベルを活用し、早期に低性能モデルを捨てる。 様々な代表的MF-HPO法を,古典的ベンチマークデータに基づく単純なベースラインと比較した。 このベースラインは、計算量を大幅に減らしながら、同等の結果を得た。
  論文  参考訳（メタデータ） (2023-07-28T09:14:41Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• MO-DEHB: Evolutionary-based Hyperband for Multi-Objective Optimization [30.54386890506418]
  MO-DEHB は、最近の進化的ハイパーバンド法 DEHB を拡張した、効果的で柔軟な多目的(MO)である。 最先端のMOに対する比較研究は、MO-DEHBが15のベンチマークで明らかに最高のパフォーマンスを達成していることを示している。
  論文  参考訳（メタデータ） (2023-05-08T06:53:40Z)
• Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
  本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。 これは経験的ベンチマークでのHPO収束を早くすることを意味する。
  論文  参考訳（メタデータ） (2023-05-05T15:33:39Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Mind the Gap: Measuring Generalization Performance Across Multiple Objectives [29.889018459046316]
  本稿では,MHPO法の一般化性能を計測できる新しい評価プロトコルを提案する。 また,2つの最適化実験を比較する能力についても検討した。
  論文  参考訳（メタデータ） (2022-12-08T10:53:56Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
  本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。 メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。 また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
  論文  参考訳（メタデータ） (2021-11-23T10:22:30Z)
• Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
  目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。 既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。 モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2020-11-19T22:35:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。