論文の概要: Probabilistic learning rate scheduler with provable convergence

• arxiv url: http://arxiv.org/abs/2407.07613v1
• Date: Wed, 10 Jul 2024 12:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 16:41:55.739857
• Title: Probabilistic learning rate scheduler with provable convergence
• Title（参考訳）: 確率収束型確率論的学習率スケジューラ
• Authors: Dahlia Devapriya, Thulasi Tholeti, Janani Suresh, Sheetal Kalyani,
• Abstract要約: 学習率スケジューラは、実際に学習アルゴリズムの収束を加速することに成功した。 しかしながら、それらの最小限への収束は理論的には証明されていない。 単調に減少する条件に適合しない確率論的学習率スケジューラ(PLRS)を提案する。
• 参考スコア（独自算出の注目度）: 7.494722456816369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning rate schedulers have shown great success in speeding up the convergence of learning algorithms in practice. However, their convergence to a minimum has not been proven theoretically. This difficulty mainly arises from the fact that, while traditional convergence analysis prescribes to monotonically decreasing (or constant) learning rates, schedulers opt for rates that often increase and decrease through the training epochs. In this work, we aim to bridge the gap by proposing a probabilistic learning rate scheduler (PLRS), that does not conform to the monotonically decreasing condition, with provable convergence guarantees. In addition to providing detailed convergence proofs, we also show experimental results where the proposed PLRS performs competitively as other state-of-the-art learning rate schedulers across a variety of datasets and architectures.
• Abstract（参考訳）: 学習率スケジューラは、実際に学習アルゴリズムの収束を加速することに成功した。 しかしながら、それらの最小限への収束は理論的には証明されていない。 この難しさは主に、伝統的な収束分析が単調に学習率を減少させる(あるいは一定の)のに対して、スケジューラはトレーニングのエポックを通じてしばしば増加し減少する速度を選択するという事実から生じる。 本研究では,単調に減少する条件に適合しない確率論的学習率スケジューラ(PLRS)を提案することにより,このギャップを埋めることを目的としている。 詳細な収束証明の提供に加えて,提案したPLRSが,様々なデータセットやアーキテクチャにわたって,他の最先端の学習速度スケジューラと競合する実験結果も提示する。

関連論文リスト

• Provable Contrastive Continual Learning [7.6989463205452555]
  我々は,従来のタスクのトレーニング損失によって,モデルの性能がいかに境界づけられているかを明らかにする理論的な性能保証を確立する。 これらの保証の理論的解析から着想を得て,CILAと呼ばれる新しいコントラスト型連続学習アルゴリズムを提案する。 提案手法は,標準ベンチマークの精度を向上し,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-05-29T04:48:11Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Uncertainty quantification for learned ISTA [5.706217259840463]
  これらのモデルに基づく学習手法では,アルゴリズムの解法が顕著である。 確実性見積が欠如しており、不確実性定量化の理論はまだ解明されていない。 本研究は,LISTA推定器の信頼区間を得るための厳密な手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T18:39:07Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Unbiased and Efficient Self-Supervised Incremental Contrastive Learning [31.763904668737304]
  本稿では,新たなIncremental InfoNCE(NCE-II)損失関数からなる自己教師型Incremental Contrastive Learning(ICL)フレームワークを提案する。 ICLは最大16.7倍のトレーニングスピードアップと16.8倍の高速収束を実現している。
  論文  参考訳（メタデータ） (2023-01-28T06:11:31Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates [67.19481956584465]
  飽和を伴う分散トレーニング(SGD)の効率は、バッチサイズと、実装における停滞に決定的に依存することが実験的に観察されている。 結果がタイトであることを示し、数値実験で重要な結果を示しています。
  論文  参考訳（メタデータ） (2021-03-03T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。