論文の概要: Acceleration via Fractal Learning Rate Schedules

• arxiv url: http://arxiv.org/abs/2103.01338v1
• Date: Mon, 1 Mar 2021 22:52:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:58:29.021309
• Title: Acceleration via Fractal Learning Rate Schedules
• Title（参考訳）: フラクタル学習率スケジューリングによる加速
• Authors: Naman Agarwal, Surbhi Goel, Cyril Zhang
• Abstract要約: 学習率のスケジュールは理解が困難であり、チューニングに費用がかかることが知られている。 我々は,数値解析文献からの反復的アルゴリズムを,バニラ勾配降下を加速するためのチェビシェフ学習率スケジュールと再解釈する。 深層学習における「安定性の最先端」の理解に挑戦するための実験と議論を行う。
• 参考スコア（独自算出の注目度）: 37.878672787331105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When balancing the practical tradeoffs of iterative methods for large-scale optimization, the learning rate schedule remains notoriously difficult to understand and expensive to tune. We demonstrate the presence of these subtleties even in the innocuous case when the objective is a convex quadratic. We reinterpret an iterative algorithm from the numerical analysis literature as what we call the Chebyshev learning rate schedule for accelerating vanilla gradient descent, and show that the problem of mitigating instability leads to a fractal ordering of step sizes. We provide some experiments and discussion to challenge current understandings of the "edge of stability" in deep learning: even in simple settings, provable acceleration can be obtained by making negative local progress on the objective.
• Abstract（参考訳）: 大規模最適化のための反復的手法の実践的トレードオフのバランスをとる場合、学習率のスケジュールは理解が困難であり、チューニングに費用がかかることが知られている。 目的が凸二次的である場合の無害な場合であっても、これらの微妙さの存在を実証する。 数値解析文献からの反復アルゴリズムをバニラ勾配降下を加速するためのChebyshev学習率スケジュールとして再解釈し、不安定性を緩和する問題はステップサイズのフラクタル順序付けにつながることを示した。 深層学習における「安定性の最先端」に対する現在の理解に挑戦するための実験と議論について述べる: 単純な設定であっても、目標に対して負の局所的進歩を行うことで、証明可能な加速が得られる。

関連論文リスト

• Accelerated regularized learning in finite N-person games [34.37854832849245]
  我々は、加速的リーダー(FTXL)と呼ばれる、加速的学習手法のファミリーを紹介する。 FTXLは局所的に超線形速度で厳密なナッシュ平衡に収束し、バニラ正規化学習法を指数的に高速化する。
  論文  参考訳（メタデータ） (2024-12-29T06:09:26Z)
• On a continuous time model of gradient descent dynamics and instability in deep learning [12.20253214080485]
  そこで本研究では,勾配降下力学を近似した連続時間流として主流れ(PF)を提案する。 PFは、ディープラーニングにおいて最近観測された安定性現象の端に光を放つ。 不安定性に対する新たな理解を用いて,トレーニング安定性とテストセット評価性能のトレードオフを制御できる学習率適応法を提案する。
  論文  参考訳（メタデータ） (2023-02-03T19:03:10Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Stochastic Optimization under Distributional Drift [3.0229888038442922]
  予測と高い確率の両方で有効な境界に焦点をあて、平均化を繰り返すアルゴリズムに対して非漸近収束保証を提供する。 勾配法の追従効率がステップ崩壊スケジュールから大きく向上する低ドリフト・ツー・ノイズ方式を同定する。
  論文  参考訳（メタデータ） (2021-08-16T21:57:39Z)
• Robust learning with anytime-guaranteed feedback [6.903929927172917]
  勾配に基づく学習アルゴリズムは、ほとんど性能保証のないクエリフィードバックによって駆動される。 ここでは、高確率エラーバウンダリを許容する修正された"常にオンラインからバッチ"メカニズムについて検討する。 実際に、実世界のデータアプリケーションで注目すべき利益をあげている。
  論文  参考訳（メタデータ） (2021-05-24T07:31:52Z)
• Improved Analysis of Clipping Algorithms for Non-convex Optimization [19.507750439784605]
  最近、citetzhang 2019gradient show that clipped (stochastic) Gradient Descent (GD) converges faster than vanilla GD/SGD。 実験は、深層学習におけるクリッピングに基づく手法の優位性を確認する。
  論文  参考訳（メタデータ） (2020-10-05T14:36:59Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。