論文の概要: An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2007.05670v2
• Date: Wed, 16 Dec 2020 10:28:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 13:15:55.501192
• Title: An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization
• Title（参考訳）: asymptotically optimal multi-armed bandit algorithm とハイパーパラメータ最適化
• Authors: Yimin Huang, Yujun Li, Hanrong Ye, Zhenguo Li, Zhihua Zhang
• Abstract要約: 本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
• 参考スコア（独自算出の注目度）: 48.5614138038673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The evaluation of hyperparameters, neural architectures, or data augmentation policies becomes a critical model selection problem in advanced deep learning with a large hyperparameter search space. In this paper, we propose an efficient and robust bandit-based algorithm called Sub-Sampling (SS) in the scenario of hyperparameter search evaluation. It evaluates the potential of hyperparameters by the sub-samples of observations and is theoretically proved to be optimal under the criterion of cumulative regret. We further combine SS with Bayesian Optimization and develop a novel hyperparameter optimization algorithm called BOSS. Empirical studies validate our theoretical arguments of SS and demonstrate the superior performance of BOSS on a number of applications, including Neural Architecture Search (NAS), Data Augmentation (DA), Object Detection (OD), and Reinforcement Learning (RL).
• Abstract（参考訳）: ハイパーパラメータ,ニューラルアーキテクチャ,あるいはデータ拡張ポリシの評価は,大規模なハイパーパラメータ検索空間を持つ高度なディープラーニングにおいて重要なモデル選択問題となる。 本稿では,超パラメータ探索評価のシナリオにおいて,SS(Sub-Sampling)と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 観測のサブサンプルによってハイパーパラメータのポテンシャルを評価し、理論上は累積後悔の基準の下で最適であることが証明される。 さらに、SSとベイジアン最適化を組み合わせて、BOSSと呼ばれる新しいハイパーパラメータ最適化アルゴリズムを開発した。 実験的な研究では,ニューラルネットワーク探索(NAS),データ拡張(DA),オブジェクト検出(OD),強化学習(RL)など,数多くのアプリケーションにおけるBOSSの優れた性能を示す。

関連論文リスト

• Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
  本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。 我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
  論文  参考訳（メタデータ） (2024-10-11T15:47:46Z)
• Hyperparameter Adaptive Search for Surrogate Optimization: A Self-Adjusting Approach [1.6317061277457001]
  サーロゲート最適化(SO)アルゴリズムは高価なブラックボックス関数の最適化を約束している。 提案手法は,各問題とSOアプローチに特有の最も影響力のあるハイパーパラメータを同定し,修正する。 実験により,様々なSOアルゴリズムの性能向上におけるHASSOの有効性が示された。
  論文  参考訳（メタデータ） (2023-10-12T01:26:05Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
  本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。 12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2023-03-27T13:52:40Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
  本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。 各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。 合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-17T23:21:53Z)
• A Population-based Hybrid Approach to Hyperparameter Optimization for Neural Networks [0.0]
  HBRKGAは、Biased Random Key Genetic AlgorithmとRandom Walk技術を組み合わせて、ハイパーパラメータ空間を効率的に探索するハイブリッドアプローチである。 その結果、HBRKGAは8つのデータセットのうち6つにおいて、ベースライン法よりも優れたハイパーパラメータ構成を見つけることができた。
  論文  参考訳（メタデータ） (2020-11-22T17:12:31Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。