論文の概要: REX: Revisiting Budgeted Training with an Improved Schedule

• arxiv url: http://arxiv.org/abs/2107.04197v1
• Date: Fri, 9 Jul 2021 04:17:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-12 13:44:25.156741
• Title: REX: Revisiting Budgeted Training with an Improved Schedule
• Title（参考訳）: rex: スケジュールの改善による予算トレーニングの再検討
• Authors: John Chen, Cameron Wolfe, Anastasios Kyrillidis
• Abstract要約: 本稿では,Reflectred Exponential(REX)スケジュールと呼ばれる新しいプロファイルとサンプリングレートの組み合わせを提案する。 REXは、いくつかの最先端の学習率スケジュールのパフォーマンスを一致または超えながら、低予算で線形スケジュールを上回ります。
• 参考スコア（独自算出の注目度）: 14.618325490983052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning practitioners often operate on a computational and monetary budget. Thus, it is critical to design optimization algorithms that perform well under any budget. The linear learning rate schedule is considered the best budget-aware schedule, as it outperforms most other schedules in the low budget regime. On the other hand, learning rate schedules -- such as the \texttt{30-60-90} step schedule -- are known to achieve high performance when the model can be trained for many epochs. Yet, it is often not known a priori whether one's budget will be large or small; thus, the optimal choice of learning rate schedule is made on a case-by-case basis. In this paper, we frame the learning rate schedule selection problem as a combination of $i)$ selecting a profile (i.e., the continuous function that models the learning rate schedule), and $ii)$ choosing a sampling rate (i.e., how frequently the learning rate is updated/sampled from this profile). We propose a novel profile and sampling rate combination called the Reflected Exponential (REX) schedule, which we evaluate across seven different experimental settings with both SGD and Adam optimizers. REX outperforms the linear schedule in the low budget regime, while matching or exceeding the performance of several state-of-the-art learning rate schedules (linear, step, exponential, cosine, step decay on plateau, and OneCycle) in both high and low budget regimes. Furthermore, REX requires no added computation, storage, or hyperparameters.
• Abstract（参考訳）: ディープラーニングの実践者は、しばしば計算と金銭の予算を運用する。 したがって、いかなる予算でもうまく機能する最適化アルゴリズムを設計することは重要である。 線形学習率のスケジュールは、低予算体制の他のほとんどのスケジュールよりも優れているため、最良の予算対応スケジュールと考えられている。 一方、例えば \texttt{30-60-90} ステップスケジュールのような学習率スケジュールは、モデルが多くのエポックに対してトレーニングできる場合に高いパフォーマンスを達成することが知られている。 しかし、予算が大きくなるか小さいかは事前に分かっていないことが多いため、学習率スケジュールの最適な選択はケース・バイ・ケース・バイ・ケースで行われる。 本稿では、学習率スケジュール選択問題を、プロファイルの選択(すなわち、学習率スケジュールをモデル化する連続関数)と、サンプリングレートの選択(つまり、このプロファイルから学習率が更新/サンプリングされる頻度)の組合せとして構成する。 sgdとadamオプティマイザの両方を用いて7つの異なる実験環境で評価した,reflection exponential (rex) scheduleと呼ばれる新しいプロファイルとサンプリングレートの組み合わせを提案する。 REXは低予算体制において線形スケジュールを上回り、高予算体制と低予算体制の両方において最先端の学習率スケジュール(線形、ステップ、指数関数、コサイン、高原でのステップ崩壊、OneCycle)のパフォーマンスを一致または超過する。 さらに、REXは計算、ストレージ、ハイパーパラメータを追加する必要はない。

関連論文リスト

• Optimal Linear Decay Learning Rate Schedules and Further Refinements [46.79573408189601]
  実際に使用される学習率のスケジュールは、理論によって推奨されるものとはほとんど似ていない。 我々はこの理論と実践的ギャップの多くを閉じ、その結果、新しい問題適応型学習率スケジュールを導き出すことができる。
  論文  参考訳（メタデータ） (2023-10-11T19:16:35Z)
• Best Arm Identification for Stochastic Rising Bandits [84.55453174601826]
  SRB(Rising Bandits)は、選択される度に選択肢の期待される報酬が増加する、シーケンシャルな意思決定の問題をモデル化する。 本稿では,SRBの固定予算ベストアーム識別(BAI)問題に焦点をあてる。 R-UCBE と R-SR の2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-15T08:01:37Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• Learning Rate Perturbation: A Generic Plugin of Learning Rate Schedule towards Flatter Local Minima [40.70374106466073]
  LEAP(LEArning Rate Perturbation)と呼ばれる一般学習率スケジュールプラグインを提案する。 LEAPは、学習率に一定の摂動を導入することにより、モデルトレーニングを改善するために、様々な学習率スケジュールに適用することができる。 LEAPを用いたトレーニングにより、多様なデータセット上での様々なディープラーニングモデルの性能を向上させることができることを示す広範な実験を行う。
  論文  参考訳（メタデータ） (2022-08-25T05:05:18Z)
• Matching Pursuit Based Scheduling for Over-the-Air Federated Learning [67.59503935237676]
  本稿では,フェデレートラーニング手法を用いて,オーバー・ザ・エアラーニングのための低複雑さデバイススケジューリングアルゴリズムのクラスを開発する。 最先端の提案方式と比較すると,提案方式は極めて低効率なシステムである。 提案手法の有効性は,CIFARデータセットを用いた実験により確認した。
  論文  参考訳（メタデータ） (2022-06-14T08:14:14Z)
• An Experimental Design Perspective on Model-Based Reinforcement Learning [73.37942845983417]
  環境からの状態遷移を観察するのは費用がかかる。 標準RLアルゴリズムは通常、学習するために多くの観測を必要とする。 本稿では,マルコフ決定過程について,状態-作用対がどの程度の情報を提供するかを定量化する獲得関数を提案する。
  論文  参考訳（メタデータ） (2021-12-09T23:13:57Z)
• Eigencurve: Optimal Learning Rate Schedule for SGD on Quadratic Objectives with Skewed Hessian Spectrums [26.44093918424658]
  Eigencurveは、2次目的のSGDの最小収束率(定数まで)を達成することができる学習率スケジュールの最初のファミリーである。 実験結果から,Eigencurveは画像分類タスクにおいて,ステップ崩壊を著しく上回り得ることが示された。 実用的な応用のための2つの単純な学習率スケジューラは、Eigencurveを近似することができる。
  論文  参考訳（メタデータ） (2021-10-27T01:17:53Z)
• Online Stochastic Optimization with Wasserstein Based Non-stationarity [12.91020811577007]
  有限期間の地平線上の複数の予算制約を持つ一般的なオンライン最適化問題を検討する。 意思決定者の目標は、予算制約の対象となる累積報酬を最大化することである。 この定式化は、オンラインリニアプログラミングやネットワーク収益管理を含む幅広いアプリケーションを取り込む。
  論文  参考訳（メタデータ） (2020-12-13T04:47:37Z)
• Automatic Tuning of Stochastic Gradient Descent with Bayesian Optimisation [8.340191147575307]
  我々は,潜在ガウス過程と自己回帰的定式化に基づく,オプティマイザのトレースに対する元の確率モデルを導入する。 新しい学習率値によって引き起こされる行動の急激な変化に柔軟に調整する。 まず、コールドスタート実行のための学習率のオンライン適応のために、次に、同様のタスクセットのスケジュールを調整し、新しいタスクのためにウォームスタートするために、一連の問題に取り組むのが適しています。
  論文  参考訳（メタデータ） (2020-06-25T13:18:18Z)
• The Two Regimes of Deep Network Training [93.84309968956941]
  本研究では,異なる学習スケジュールの効果と,それらを選択する適切な方法について検討する。 この目的のために、我々は2つの異なる段階を分離し、これを「大きな段階的体制」と「小さな段階的体制」と呼ぶ。 トレーニングアルゴリズムは学習率のスケジュールを大幅に単純化することができる。
  論文  参考訳（メタデータ） (2020-02-24T17:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。