論文の概要: AutoGD: Automatic Learning Rate Selection for Gradient Descent

• arxiv url: http://arxiv.org/abs/2510.09923v1
• Date: Fri, 10 Oct 2025 23:47:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.694211
• Title: AutoGD: Automatic Learning Rate Selection for Gradient Descent
• Title（参考訳）: AutoGD: グラディエントDescenceのための自動学習速度選択
• Authors: Nikola Surjanovic, Alexandre Bouchard-Côté, Trevor Campbell,
• Abstract要約: 本稿では,ある反復における学習率の増大や減少を自動的に決定する勾配降下法であるAutoGDを紹介する。 我々は、滑らか性定数の知識を必要とせず、幅広い種類の函数に対して、GDの最適速度(定数まで)を回復できることを示した。
• 参考スコア（独自算出の注目度）: 54.195493042469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of gradient-based optimization methods, such as standard gradient descent (GD), greatly depends on the choice of learning rate. However, it can require a non-trivial amount of user tuning effort to select an appropriate learning rate schedule. When such methods appear as inner loops of other algorithms, expecting the user to tune the learning rates may be impractical. To address this, we introduce AutoGD: a gradient descent method that automatically determines whether to increase or decrease the learning rate at a given iteration. We establish the convergence of AutoGD, and show that we can recover the optimal rate of GD (up to a constant) for a broad class of functions without knowledge of smoothness constants. Experiments on a variety of traditional problems and variational inference optimization tasks demonstrate strong performance of the method, along with its extensions to AutoBFGS and AutoLBFGS.
• Abstract（参考訳）: 標準勾配降下(GD)のような勾配に基づく最適化手法の性能は、学習率の選択に大きく依存する。 しかし、適切な学習率のスケジュールを選択するには、非自明な量のユーザーチューニング作業が必要になる。 このような手法が他のアルゴリズムの内部ループとして現れる場合、学習率の調整は現実的でない可能性がある。 そこで本研究では,与えられた反復で学習率を向上または減少させるかを自動的に決定する勾配降下法であるAutoGDを紹介する。 我々は、AutoGDの収束を確立し、滑らか性定数の知識のない幅広い種類の函数に対して、GDの最適速度(定数まで)を回復できることを示す。 様々な従来の問題と変分推論最適化タスクの実験は、AutoBFGSとAutoLBFGSの拡張とともに、この手法の強力な性能を示している。

関連論文リスト

• Online Learning-guided Learning Rate Adaptation via Gradient Alignment [25.688764889273237]
  大規模ディープラーニングモデルの性能は、学習率の微調整に大きく依存する。 本稿では, GALA (Gradient Alignment-based Adaptation) と呼ばれるフレームワークを提案する。 Follow-the-Regularized-Leaderのようなオンライン学習アルゴリズムと組み合わせることで、フレキシブルで適応的な学習スケジュールを生成する。
  論文  参考訳（メタデータ） (2025-06-10T03:46:41Z)
• AutoSGD: Automatic Learning Rate Selection for Stochastic Gradient Descent [58.05410015124021]
  本稿では,SGD法であるAutoSGDを紹介する。 実験結果から,従来の最適化問題や機械学習タスクにおいて,この手法の強い性能が示唆された。
  論文  参考訳（メタデータ） (2025-05-27T18:25:21Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Mechanic: A Learning Rate Tuner [52.4242550204696]
  我々は,任意の基本最適化アルゴリズムの学習率尺度係数を調整し,自動的にスケジュールする手法を導入し,それをテクスチャメカニックと呼ぶ。 各種バッチサイズ,スケジュール,基本最適化アルゴリズムを用いて,大規模深層学習タスクにおけるテクスチャメカニックを厳格に評価する。
  論文  参考訳（メタデータ） (2023-05-31T19:32:43Z)
• Learning-Rate-Free Learning by D-Adaptation [18.853820404058983]
  D-Adaptationは、凸リプシッツ関数に対する最適収束率を達成する学習率を自動的に設定するアプローチである。 本手法のSGDおよびAdam変種に対する広範囲な実験を行い,手作業による学習率を1ダース以上の多様な機械学習問題に対して自動でマッチングする手法を提案する。
  論文  参考訳（メタデータ） (2023-01-18T19:00:50Z)
• Automatic Tuning of Stochastic Gradient Descent with Bayesian Optimisation [8.340191147575307]
  我々は,潜在ガウス過程と自己回帰的定式化に基づく,オプティマイザのトレースに対する元の確率モデルを導入する。 新しい学習率値によって引き起こされる行動の急激な変化に柔軟に調整する。 まず、コールドスタート実行のための学習率のオンライン適応のために、次に、同様のタスクセットのスケジュールを調整し、新しいタスクのためにウォームスタートするために、一連の問題に取り組むのが適しています。
  論文  参考訳（メタデータ） (2020-06-25T13:18:18Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Automatic, Dynamic, and Nearly Optimal Learning Rate Specification by Local Quadratic Approximation [7.386152866234369]
  ディープラーニングタスクでは、学習率が各イテレーションの更新ステップサイズを決定する。 局所二次近似(LQA)に基づく新しい最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-04-07T10:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。