論文の概要: c-TPE: Generalizing Tree-structured Parzen Estimator with Inequality
Constraints for Continuous and Categorical Hyperparameter Optimization
- arxiv url: http://arxiv.org/abs/2211.14411v1
- Date: Sat, 26 Nov 2022 00:25:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 15:38:42.580144
- Title: c-TPE: Generalizing Tree-structured Parzen Estimator with Inequality
Constraints for Continuous and Categorical Hyperparameter Optimization
- Title(参考訳): c-TPE:連続的・カテゴリー的ハイパーパラメータ最適化のための不等式制約付き木構造パーゼン推定器の一般化
- Authors: Shuhei Watanabe, Frank Hutter
- Abstract要約: 本稿では,木構造を持つParzen estimator (TPE) を,AF の単純な分解による制約付き最適化 (c-TPE) に拡張する。
実験では、c-TPEは様々な制約レベルに対して堅牢であり、既存の手法の中で最高の平均ランク性能を示す。
- 参考スコア(独自算出の注目度): 45.67326752241075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter optimization (HPO) is crucial for strong performance of deep
learning algorithms. A widely-used versatile HPO method is a variant of
Bayesian optimization called tree-structured Parzen estimator (TPE), which
splits data into good and bad groups and uses the density ratio of those groups
as an acquisition function (AF). However, real-world applications often have
some constraints, such as memory requirements, or latency. In this paper, we
present an extension of TPE to constrained optimization (c-TPE) via simple
factorization of AFs. The experiments demonstrate c-TPE is robust to various
constraint levels and exhibits the best average rank performance among existing
methods with statistical significance on search spaces with categorical
parameters on 81 settings.
- Abstract(参考訳): ハイパーパラメータ最適化(HPO)はディープラーニングアルゴリズムの性能向上に不可欠である。
広く使われている汎用HPO法は、木構造パーゼン推定器(TPE)と呼ばれるベイズ最適化の変種であり、データを良いグループと悪いグループに分割し、それらのグループの密度比を取得関数(AF)として利用する。
しかし、現実のアプリケーションは、メモリ要件やレイテンシなど、いくつかの制約があることが多い。
本稿では,制約付き最適化(c-TPE)へのTPEの拡張について,AFの簡単な分解による提案を行う。
実験は,c-TPEが様々な制約レベルに対して堅牢であることを示し,81設定のカテゴリーパラメータを持つ探索空間において,統計的に有意な既存の手法の中で,最高の平均ランク性能を示す。
関連論文リスト
- End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳(メタデータ) (2024-02-12T16:33:35Z) - Rethinking and Benchmarking Predict-then-Optimize Paradigm for
Combinatorial Optimization Problems [62.25108152764568]
多くのWebアプリケーションは、エネルギーコストを考慮したスケジューリング、Web広告の予算配分、ソーシャルネットワークでのグラフマッチングなど、最適化問題の解決に頼っている。
統一システムにおける予測と意思決定の性能について考察する。
我々は、現在のアプローチを包括的に分類し、既存の実験シナリオを統合する。
論文 参考訳(メタデータ) (2023-11-13T13:19:34Z) - Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared
Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。
また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。
その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文 参考訳(メタデータ) (2023-10-19T15:13:58Z) - Speeding Up Multi-Objective Hyperparameter Optimization by Task
Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator [37.553558410770314]
本稿では,タスク間のトップドメインの重複によって定義されるタスク類似性を用いて,TPEの取得機能をメタラーニング設定に拡張する。
実験では,表付きHPOベンチマークでMO-TPEを高速化し,最先端の性能が得られることを示した。
論文 参考訳(メタデータ) (2022-12-13T17:33:02Z) - ACE: Adaptive Constraint-aware Early Stopping in Hyperparameter
Optimization [18.81207777891714]
適応制約対応早期停止法(ACE)を提案し,HPO中の試行錯誤に制約評価を組み込む。
全体の最適化コストを最小限に抑えるため、ACEは期待される評価コストの理論的解析に基づいて、コスト効果のある制約評価間隔を推定する。
論文 参考訳(メタデータ) (2022-08-04T22:56:16Z) - Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。
最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。
本論文では,この新指標を最適化するための最初の試行について述べる。
論文 参考訳(メタデータ) (2022-06-23T12:21:30Z) - Towards Deployment-Efficient Reinforcement Learning: Lower Bound and
Optimality [141.89413461337324]
展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である
本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
論文 参考訳(メタデータ) (2022-02-14T01:31:46Z) - Towards Hyperparameter-free Policy Selection for Offline Reinforcement
Learning [10.457660611114457]
オフライン強化学習において、異なるトレーニングアルゴリズムによって生成される価値関数とポリシーの選択方法を示す。
我々は,近年の値関数選択の理論的進歩であるBVFT[XJ21]を用いて,Atariなどの離散作用ベンチマークにおいて,その有効性を示す。
論文 参考訳(メタデータ) (2021-10-26T20:12:11Z) - Scalable Constrained Bayesian Optimization [10.820024633762596]
ブラックボックス制約下での高次元ブラックボックス関数のグローバルな最適化は、機械学習、制御、科学コミュニティにおける普及的なタスクである。
本稿では,上記の課題を克服し,現状を推し進めるスケーラブルな制約付きベイズ最適化(SCBO)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-20T01:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。