論文の概要: Provably Efficient Online Hyperparameter Optimization with Population-Based Bandits

• arxiv url: http://arxiv.org/abs/2002.02518v4
• Date: Fri, 4 Jun 2021 17:12:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 10:03:14.625167
• Title: Provably Efficient Online Hyperparameter Optimization with Population-Based Bandits
• Title（参考訳）: 人口ベースバンディットを用いたオンラインハイパーパラメータ最適化
• Authors: Jack Parker-Holder and Vu Nguyen and Stephen Roberts
• Abstract要約: 提案手法は, 人口ベース帯域幅推定アルゴリズムを初めて提案する。 PB2は確率モデルを用いて探索を効率的に導く。 PB2 が計算予算を緩やかに抑えながら高い性能を達成できることを, 一連の RL 実験で示す。
• 参考スコア（独自算出の注目度）: 12.525529586816955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many of the recent triumphs in machine learning are dependent on well-tuned hyperparameters. This is particularly prominent in reinforcement learning (RL) where a small change in the configuration can lead to failure. Despite the importance of tuning hyperparameters, it remains expensive and is often done in a naive and laborious way. A recent solution to this problem is Population Based Training (PBT) which updates both weights and hyperparameters in a single training run of a population of agents. PBT has been shown to be particularly effective in RL, leading to widespread use in the field. However, PBT lacks theoretical guarantees since it relies on random heuristics to explore the hyperparameter space. This inefficiency means it typically requires vast computational resources, which is prohibitive for many small and medium sized labs. In this work, we introduce the first provably efficient PBT-style algorithm, Population-Based Bandits (PB2). PB2 uses a probabilistic model to guide the search in an efficient way, making it possible to discover high performing hyperparameter configurations with far fewer agents than typically required by PBT. We show in a series of RL experiments that PB2 is able to achieve high performance with a modest computational budget.
• Abstract（参考訳）: 最近の機械学習の勝利の多くは、よく調整されたハイパーパラメータに依存している。 これは特に強化学習(RL)において、構成の小さな変更が失敗につながる可能性がある。 ハイパーパラメータをチューニングすることの重要性にもかかわらず、高価であり、しばしば単純で退屈な方法で行われる。 この問題に対する最近の解決策は人口ベースのトレーニング(pbt)で、エージェントの1つのトレーニング実行で重みとハイパーパラメータの両方を更新する。 PBTは特にRLにおいて有効であることが示されており、この分野で広く利用されている。 しかしながら、PBTは超パラメータ空間を探索するためにランダムなヒューリスティックに依存するため、理論的保証を欠いている。 この非効率性は典型的には膨大な計算資源を必要とすることを意味する。 そこで本研究では,pbt型アルゴリズムである人口ベースバンディット(pb2)を提案する。 PB2は確率モデルを用いて探索を効率的に誘導し、PBTが要求するよりもはるかに少ないエージェントで高性能なハイパーパラメータ構成を発見することができる。 PB2 が計算予算を緩やかに抑えながら高い性能を達成できることを, 一連の RL 実験で示す。

関連論文リスト

• Generalized Population-Based Training for Hyperparameter Optimization in Reinforcement Learning [10.164982368785854]
  一般人口ベーストレーニング(GPBT)とペアワイズ学習(PL) PLは、パフォーマンスの差を識別し、パフォーマンスの低いエージェントに対する全体的なガイダンスを提供するために、包括的なペアワイズ戦略を採用している。
  論文  参考訳（メタデータ） (2024-04-12T04:23:20Z)
• Shrink-Perturb Improves Architecture Mixing during Population Based Training for Neural Architecture Search [62.997667081978825]
  ニューラルネットワークを同時にトレーニングし、混合することは、ニューラルネットワークサーチ(NAS)を実行するための有望な方法であることを示す。 PBT-NAS は PBT-NAS をNAS に適応させる手法であり,低性能なネットワークを個体群で置き換えることでアーキテクチャを改良し,良好な性能のネットワークを混合し,縮小パーターブ法を用いて重みを継承する手法を提案する。
  論文  参考訳（メタデータ） (2023-07-28T15:29:52Z)
• PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
  我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。 各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:26:14Z)
• Multi-Objective Population Based Training [62.997667081978825]
  Population Based Training (PBT) は効率的なハイパーパラメータ最適化アルゴリズムである。 本研究ではPBTの多目的版であるMO-PBTを紹介する。
  論文  参考訳（メタデータ） (2023-06-02T10:54:24Z)
• AutoRL Hyperparameter Landscapes [69.15927869840918]
  強化学習(Reinforcement Learning, RL)は印象的な結果を生み出すことができるが、その使用はハイパーパラメータがパフォーマンスに与える影響によって制限されている。 我々は,これらのハイパーパラメータの景観を1つの時間だけではなく,複数の時間内に構築し,解析する手法を提案する。 これは、ハイパーパラメータがトレーニング中に動的に調整されるべきであるという理論を支持し、ランドスケープ解析によって得られるAutoRL問題に関するさらなる洞察の可能性を示している。
  論文  参考訳（メタデータ） (2023-04-05T12:14:41Z)
• Automating DBSCAN via Deep Reinforcement Learning [73.82740568765279]
  本稿では,DBSCANの自動パラメータ検索フレームワークであるDRL-DBSCANを提案する。 このフレームワークは、クラスタリング環境をマルコフ決定プロセスとして知覚することで、パラメータ探索方向を調整する過程をモデル化する。 このフレームワークはDBSCANクラスタリングの精度を最大で26%、25%改善している。
  論文  参考訳（メタデータ） (2022-08-09T04:40:11Z)
• Bayesian Generational Population-Based Training [35.70338636901159]
  Population-Based Training (PBT)は、いくつかの大規模な設定で素晴らしいパフォーマンスを実現している。 PBTスタイルの手法に2つの新しい革新を導入する。 これらのイノベーションが大きなパフォーマンス向上につながっていることを示しています。
  論文  参考訳（メタデータ） (2022-07-19T16:57:38Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• Faster Improvement Rate Population Based Training [7.661301899629696]
  本稿では、人口ベーストレーニング(PBT)の問題に対処する高速改善率PBT(FIRE PBT)を提案する。 我々は、新しいフィットネス指標を導き、それを使って、一部の人口構成員が長期的なパフォーマンスに集中できるようにします。 実験の結果、FIRE PBTはImageNetベンチマークでPBTより優れており、手動学習率のスケジュールでトレーニングされたネットワークの性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2021-09-28T15:30:55Z)
• Tuning Mixed Input Hyperparameters on the Fly for Efficient Population Based AutoRL [12.135280422000635]
  連続変数とカテゴリー変数の両方を最適化する新しい効率的な階層的アプローチを導入する。 データ拡張と他のハイパーパラメータ間の依存を明示的にモデル化することで、一般化が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-30T08:15:59Z)
• On the Importance of Hyperparameter Optimization for Model-based Reinforcement Learning [27.36718899899319]
  モデルベース強化学習(MBRL)はデータ効率のよい制御を学習するための有望なフレームワークである。 MBRLは通常、新しい問題やドメインに適用する前に、重要な人間の専門知識が必要です。
  論文  参考訳（メタデータ） (2021-02-26T18:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。