論文の概要: Genealogical Population-Based Training for Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2109.14925v2
• Date: Sun, 9 Apr 2023 08:07:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 00:22:10.055392
• Title: Genealogical Population-Based Training for Hyperparameter Optimization
• Title（参考訳）: 超パラメータ最適化のための系譜的集団ベーストレーニング
• Authors: Antoine Scardigli and Paul Fournier and Matteo Vilucchio and David Naccache
• Abstract要約: 本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。 本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
• 参考スコア（独自算出の注目度）: 1.0514231683620516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: HyperParameter Optimization (HPO) aims at finding the best HyperParameters (HPs) of learning models, such as neural networks, in the fastest and most efficient way possible. Most recent HPO algorithms try to optimize HPs regardless of the model that obtained them, assuming that for different models, same HPs will produce very similar results. We break free from this paradigm and propose a new take on preexisting methods that we called Genealogical Population Based Training (GPBT). GPBT, via the shared histories of "genealogically"-related models, exploit the coupling of HPs and models in an efficient way. We experimentally demonstrate that our method cuts down by 2 to 3 times the computational cost required, generally allows a 1% accuracy improvement on computer vision tasks, and reduces the variance of the results by an order of magnitude, compared to the current algorithms. Our method is search-algorithm agnostic so that the inner search routine can be any search algorithm like TPE, GP, CMA or random search.
• Abstract（参考訳）: HyperParameter Optimization (HPO)は、ニューラルネットワークのような学習モデルの最適なハイパーパラメータ(HP)を、可能な限り高速かつ効率的な方法で見つけることを目的としている。 最近のHPOアルゴリズムは、異なるモデルに対して、同じHPが非常によく似た結果をもたらすと仮定して、得られたモデルに関係なくHPを最適化しようとする。 我々はこのパラダイムから脱却し,遺伝子学的集団ベーストレーニング(gpbt)と呼ばれる既存の手法を新たに提案する。 GPBTは、"世代論的"関連モデルの共有履歴を通じて、HPとモデルの効率的な結合を利用する。 提案手法は,計算コストの2～3倍削減し,コンピュータビジョンタスクの精度を1%向上させるとともに,現在のアルゴリズムと比較して,結果のばらつきを桁違いに低減することを示した。 本手法は,内部探索ルーチンをtpe,gp,cma,ランダム検索などの任意の探索アルゴリズムにすることができる。

関連論文リスト

• A Comparative Study of Hyperparameter Tuning Methods [0.0]
  木構造型Parzen Estimator (TPE)、遺伝的検索、ランダム検索は回帰および分類タスク間で評価される。 ランダム検索は回帰タスクに優れ、TPEは分類タスクに効果的であった。
  論文  参考訳（メタデータ） (2024-08-29T10:35:07Z)
• A Reinforcement Learning-assisted Genetic Programming Algorithm for Team Formation Problem Considering Person-Job Matching [70.28786574064694]
  解の質を高めるために強化学習支援遺伝的プログラミングアルゴリズム(RL-GP)を提案する。 効率的な学習を通じて得られる超ヒューリスティックなルールは、プロジェクトチームを形成する際の意思決定支援として利用することができる。
  論文  参考訳（メタデータ） (2023-04-08T14:32:12Z)
• Enhancing Machine Learning Model Performance with Hyper Parameter Optimization: A Comparative Study [0.0]
  機械学習における最も重要な問題のひとつは、トレーニングモデルに適切なハイパーパラメータの選択である。 ハイパーパラメータ最適化(HPO)は、人工知能研究が最近注目している話題である。 本研究では,グリッドやランダム探索,ベイズ最適化などの古典的手法,遺伝的アルゴリズムや粒子群最適化といった人口ベースアルゴリズムについて論じる。
  論文  参考訳（メタデータ） (2023-02-14T10:12:10Z)
• Massively Parallel Genetic Optimization through Asynchronous Propagation of Populations [50.591267188664666]
  Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。 提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。 Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
  論文  参考訳（メタデータ） (2023-01-20T18:17:34Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Tuning Mixed Input Hyperparameters on the Fly for Efficient Population Based AutoRL [12.135280422000635]
  連続変数とカテゴリー変数の両方を最適化する新しい効率的な階層的アプローチを導入する。 データ拡張と他のハイパーパラメータ間の依存を明示的にモデル化することで、一般化が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-30T08:15:59Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Practical and sample efficient zero-shot HPO [8.41866793161234]
  利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。 1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。 2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
  論文  参考訳（メタデータ） (2020-07-27T08:56:55Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)
• Hypernetwork-Based Augmentation [1.6752182911522517]
  我々はHypernetwork-based Augmentation (HBA)と呼ばれる効率的な勾配に基づく探索アルゴリズムを提案する。 私たちのHBAはハイパーネットワークを使って人口ベーストレーニングアルゴリズムを近似します。 以上の結果から,HBAは検索速度と精度の両面で最先端の手法と競合することが示された。
  論文  参考訳（メタデータ） (2020-06-11T10:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。