論文の概要: Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning

• arxiv url: http://arxiv.org/abs/2209.12499v1
• Date: Mon, 26 Sep 2022 08:16:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 15:29:44.753172
• Title: Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning
• Title（参考訳）: ハイパーパラメータチューニングのための繰り返し学習率によるマルチ忠実度最適化の改善
• Authors: HyunJae Lee, Gihyeon Lee, Junhwan Kim, Sungjun Cho, Dohyun Kim, Donggeun Yoo
• Abstract要約: 再帰学習率(MORL)を考慮した多相最適化を提案する。 MORLはCNNの最適化プロセスを多要素最適化に組み込んでいる。 スロースタートの問題を緩和し、より正確な低忠実度近似を実現する。
• 参考スコア（独自算出の注目度）: 7.591442522626255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the evolution of Convolutional Neural Networks (CNNs), their performance is surprisingly dependent on the choice of hyperparameters. However, it remains challenging to efficiently explore large hyperparameter search space due to the long training times of modern CNNs. Multi-fidelity optimization enables the exploration of more hyperparameter configurations given budget by early termination of unpromising configurations. However, it often results in selecting a sub-optimal configuration as training with the high-performing configuration typically converges slowly in an early phase. In this paper, we propose Multi-fidelity Optimization with a Recurring Learning rate (MORL) which incorporates CNNs' optimization process into multi-fidelity optimization. MORL alleviates the problem of slow-starter and achieves a more precise low-fidelity approximation. Our comprehensive experiments on general image classification, transfer learning, and semi-supervised learning demonstrate the effectiveness of MORL over other multi-fidelity optimization methods such as Successive Halving Algorithm (SHA) and Hyperband. Furthermore, it achieves significant performance improvements over hand-tuned hyperparameter configuration within a practical budget.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の進化にもかかわらず、その性能は驚くほどハイパーパラメータの選択に依存している。 しかし、現代のCNNの長い訓練期間のため、大規模なハイパーパラメータ検索空間を効率的に探索することは依然として困難である。 マルチフィデリティ最適化は、予測不能な構成を早期に終了することで、予算が与えられたハイパーパラメータ構成の探索を可能にする。 しかし、ハイパフォーマンスな構成でのトレーニングは、通常は初期段階でゆっくりと収束するので、しばしばサブ最適構成を選択する。 本稿では,cnnの最適化プロセスを多元的最適化に組み込んだ反復学習率(morl)による多元的最適化を提案する。 MORLはスロースタートの問題を緩和し、より正確な低忠実度近似を実現する。 一般画像分類,移動学習,半教師付き学習に関する総合的な実験は,逐次Halving Algorithm (SHA) や Hyperband などの他の多要素最適化手法に対する MORL の有効性を示した。 さらに,手作業によるハイパーパラメータ設定よりも,実用的な予算で大幅なパフォーマンス向上を実現している。

関連論文リスト

• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• Memory-Efficient Optimization with Factorized Hamiltonian Descent [11.01832755213396]
  本稿では,この課題に対処するためのメモリ効率因子化手法を取り入れた新しい適応型H-Facを提案する。 運動量とスケーリングパラメータ推定器の両方にランク1パラメータ化を適用することで、H-Facはメモリコストをサブ線形レベルに削減する。 我々はハミルトン力学から導かれる原理に基づいてアルゴリズムを開発し、最適化力学と収束保証において堅牢な理論的基盤を提供する。
  論文  参考訳（メタデータ） (2024-06-14T12:05:17Z)
• On the Parameterization of Second-Order Optimization Effective Towards the Infinite Width [5.217870815854702]
  特徴学習を安定的に促進する2次最適化のための特定のパラメータ化を同定する。 最大更新パラメータ化にインスパイアされ、勾配の一段階更新を考える。 提案手法では,K-FAC と Shampoo の2次最適化アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2023-12-19T15:12:39Z)
• Federated Multi-Level Optimization over Decentralized Networks [55.776919718214224]
  エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。 ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。 提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-10T00:21:10Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians [5.33024001730262]
  自己チューニングネットワーク(STN)は,最近,内部目標の最適化を補正する能力によって,注目を集めている。 トレーニングを安定化する改良されたハイパーネットワークアーキテクチャであるDelta$-STNを提案する。
  論文  参考訳（メタデータ） (2020-10-26T12:12:23Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling [34.67740033646052]
  ベイジアン最適化のステート・オブ・ザ・アートランタイムと,さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善した。 評価の複雑さと品質をトレードオフするISのパラメータ化を学習することで、ベイジアン最適化のステート・オブ・ザ・アートランタイムと、さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善します。
  論文  参考訳（メタデータ） (2020-02-23T15:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。