論文の概要: Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm
- arxiv url: http://arxiv.org/abs/2102.09026v1
- Date: Wed, 17 Feb 2021 21:03:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-19 19:36:40.714698
- Title: Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm
- Title（参考訳）: 自動学習アルゴリズムによる大規模ハイパーパラメータの最適化
- Authors: Bin Gu, Guodong Liu, Yanfu Zhang, Xiang Geng, Heng Huang
- Abstract要約: ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
- 参考スコア（独自算出の注目度）: 97.66038345864095
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Modern machine learning algorithms usually involve tuning multiple (from one
to thousands) hyperparameters which play a pivotal role in terms of model
generalizability. Black-box optimization and gradient-based algorithms are two
dominant approaches to hyperparameter optimization while they have totally
distinct advantages. How to design a new hyperparameter optimization technique
inheriting all benefits from both approaches is still an open problem. To
address this challenging problem, in this paper, we propose a new
hyperparameter optimization method with zeroth-order hyper-gradients (HOZOG).
Specifically, we first exactly formulate hyperparameter optimization as an
A-based constrained optimization problem, where A is a black-box optimization
algorithm (such as deep neural network). Then, we use the average zeroth-order
hyper-gradients to update hyperparameters. We provide the feasibility analysis
of using HOZOG to achieve hyperparameter optimization. Finally, the
experimental results on three representative hyperparameter (the size is from 1
to 1250) optimization tasks demonstrate the benefits of HOZOG in terms of
simplicity, scalability, flexibility, effectiveness and efficiency compared
with the state-of-the-art hyperparameter optimization methods.
- Abstract（参考訳）: 現代の機械学習アルゴリズムは、モデル一般化可能性の観点から重要な役割を果たす複数の(1から数千)ハイパーパラメータをチューニングする。
ブラックボックス最適化とグラデーションベースのアルゴリズムは、ハイパーパラメータ最適化に対する2つの優勢なアプローチである。
両方のアプローチからのすべての利点を継承する新しいハイパーパラメータ最適化技術を設計する方法は、まだオープンな問題です。
本稿では,この問題に対処するため,ゼロ次超勾配(hozog)を用いた新しいハイパーパラメータ最適化手法を提案する。
具体的には、aがブラックボックス最適化アルゴリズム(ディープニューラルネットワークなど)であるaに基づく制約付き最適化問題としてハイパーパラメータ最適化を正確に定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
HOZOGを用いたハイパーパラメータ最適化の実現可能性解析を提供します。
最後に,3つの代表的ハイパーパラメータ(サイズは1～1250)に対する実験結果から,HOZOGの利点を,最先端のハイパーパラメータ最適化手法と比較して,シンプルさ,スケーラビリティ,柔軟性,有効性,効率性を示す。
関連論文リスト
- End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization
Method [0.0]
ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。
提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
論文 参考訳（メタデータ） (2022-08-25T14:25:16Z) - A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。
私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
論文 参考訳（メタデータ） (2022-01-17T14:49:36Z) - HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using
Evolutionary Optimization [1.6114012813668934]
改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。
最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
論文 参考訳（メタデータ） (2021-09-11T16:45:39Z) - Implicit differentiation for fast hyperparameter selection in non-smooth
convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。
本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文 参考訳（メタデータ） (2021-05-04T17:31:28Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳（メタデータ） (2021-02-15T19:36:18Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - A Gradient-based Bilevel Optimization Approach for Tuning
Hyperparameters in Machine Learning [0.0]
本稿では,ハイパーパラメータ最適化問題の解法として,二段階解法を提案する。
提案手法は汎用的で,任意の種類の機械学習アルゴリズムに容易に適用可能である。
提案アルゴリズムの背景にある理論を議論し、2つのデータセットについて広範な計算研究を行う。
論文 参考訳（メタデータ） (2020-07-21T18:15:08Z) - A Modified Bayesian Optimization based Hyper-Parameter Tuning Approach
for Extreme Gradient Boosting [3.655021726150369]
ハイパー最適化を行う方法のひとつに手動検索があるが、時間を要する。
ハイパー最適化を行う一般的なアプローチとしては、グリッド探索ランダム検索とHyperoptを用いたベイズ最適化がある。
我々は、XGBoostの超並列最適化における従来の3つの手法よりも、ランダム化-ハイパーオプトが優れていることを発見した。
論文 参考訳（メタデータ） (2020-04-10T14:09:54Z) - Cross Entropy Hyperparameter Optimization for Constrained Problem
Hamiltonians Applied to QAOA [68.11912614360878]
QAOA(Quantum Approximate Optimization Algorithm)のようなハイブリッド量子古典アルゴリズムは、短期量子コンピュータを実用的に活用するための最も奨励的なアプローチの1つである。
このようなアルゴリズムは通常変分形式で実装され、古典的な最適化法と量子機械を組み合わせて最適化問題の優れた解を求める。
本研究では,クロスエントロピー法を用いてランドスケープを形作り,古典的パラメータがより容易により良いパラメータを発見でき,その結果,性能が向上することを示す。
論文 参考訳（メタデータ） (2020-03-11T13:52:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。