論文の概要: Revisiting Learning Rate Control

• arxiv url: http://arxiv.org/abs/2507.01724v1
• Date: Wed, 02 Jul 2025 13:58:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.274753
• Title: Revisiting Learning Rate Control
• Title（参考訳）: 学習率制御の再検討
• Authors: Micha Henheik, Theresa Eimer, Marius Lindauer,
• Abstract要約: 学習率の制御方法は、AutoMLとディープラーニングの研究の両方において活発な領域である。 本稿では,学習率制御の現状を評価するために,パラダイムを比較した。
• 参考スコア（独自算出の注目度）: 15.646893354481799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The learning rate is one of the most important hyperparameters in deep learning, and how to control it is an active area within both AutoML and deep learning research. Approaches for learning rate control span from classic optimization to online scheduling based on gradient statistics. This paper compares paradigms to assess the current state of learning rate control. We find that methods from multi-fidelity hyperparameter optimization, fixed-hyperparameter schedules, and hyperparameter-free learning often perform very well on selected deep learning tasks but are not reliable across settings. This highlights the need for algorithm selection methods in learning rate control, which have been neglected so far by both the AutoML and deep learning communities. We also observe a trend of hyperparameter optimization approaches becoming less effective as models and tasks grow in complexity, even when combined with multi-fidelity approaches for more expensive model trainings. A focus on more relevant test tasks and new promising directions like finetunable methods and meta-learning will enable the AutoML community to significantly strengthen its impact on this crucial factor in deep learning.
• Abstract（参考訳）: 学習速度は、ディープラーニングにおける最も重要なハイパーパラメータの1つであり、それを制御する方法は、AutoMLとディープラーニング研究の両方において活発な領域である。 学習率制御のアプローチは、古典的な最適化から、勾配統計に基づくオンラインスケジューリングまで多岐にわたる。 本稿では,学習率制御の現状を評価するために,パラダイムを比較した。 複数要素のハイパーパラメータ最適化,固定ハイパーパラメータスケジュール,ハイパーパラメータなし学習といった手法は,選択したディープラーニングタスクではよく機能するが,設定によっては信頼性が低いことが判明した。 このことは、AutoMLとディープラーニングコミュニティによってこれまで無視されてきた、学習率制御におけるアルゴリズムの選択方法の必要性を強調している。 また、モデルやタスクが複雑化するにつれて、より高価なモデルトレーニングのためのマルチ忠実なアプローチと組み合わせても、ハイパーパラメータ最適化アプローチの効率が低下する傾向を観察する。 より関連性の高いテストタスクと、微調整可能なメソッドやメタラーニングのような新しい有望な方向性に焦点を当てることで、AutoMLコミュニティは、ディープラーニングにおけるこの重要な要素に対するその影響を大幅に強化することができる。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Learning to optimize by multi-gradient for multi-objective optimization [0.0]
  我々はMOO問題を最適化するための新しい自動学習パラダイムを導入し、ML2O法を提案する。 学習に基づく手法として、ML2Oは現在のステップからの情報を活用することで、地域景観の知識を取得する。 我々の学習は、マルチタスク学習(MTL)ニューラルネットワークのトレーニングにおいて、手作りの競争相手よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-01T14:55:54Z)
• Active Learning of Discrete-Time Dynamics for Uncertainty-Aware Model Predictive Control [46.81433026280051]
  本稿では,非線形ロボットシステムの力学を積極的にモデル化する自己教師型学習手法を提案する。 我々のアプローチは、目に見えない飛行条件に一貫して適応することで、高いレジリエンスと一般化能力を示す。
  論文  参考訳（メタデータ） (2022-10-23T00:45:05Z)
• Online Weighted Q-Ensembles for Reduced Hyperparameter Tuning in Reinforcement Learning [0.38073142980732994]
  強化学習はロボット制御を学ぶための有望なパラダイムであり、ダイナミックスモデルを必要とせずに複雑な制御ポリシーを学習することができる。 本稿では,複数の強化学習エージェントのアンサンブルを用いて,それぞれ異なるパラメータの集合と,最適な演奏セットを選択するメカニズムを提案する。 オンライン重み付きQ-アンサンブルは,q平均アンサンブルと比較した場合,全体の低分散と優れた結果を示した。
  論文  参考訳（メタデータ） (2022-09-29T19:57:43Z)
• Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
  強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。 本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。 実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-15T13:10:44Z)
• Training Aware Sigmoidal Optimizer [2.99368851209995]
  Aware Sigmoidal関数をトレーニングすると、ローカルミニマよりもはるかにサドルロスの風景が表示されます。 本研究では,2相自動学習率スケジュールからなるTASO(Training Aware Sigmoidal Function)を提案する。 提案手法をAdam、RMS、Adagradなどの一般的な適応学習率スケジュールと比較した。
  論文  参考訳（メタデータ） (2021-02-17T12:00:46Z)
• Anticipating the Long-Term Effect of Online Learning in Control [75.6527644813815]
  AntLerは、学習を予想する学習ベースの制御法則の設計アルゴリズムである。 AntLer は確率 1 と任意に最適な解を近似することを示す。
  論文  参考訳（メタデータ） (2020-07-24T07:00:14Z)
• META-Learning Eligibility Traces for More Sample Efficient Temporal Difference Learning [2.0559497209595823]
  そこで本稿では,状態依存的な方法で,可視性トレースパラメータを調整するためのメタラーニング手法を提案する。 この適応は、更新対象の分布情報をオンラインで学習する補助学習者の助けを借りて達成される。 提案手法は,いくつかの前提条件下では,全体の目標誤差を最小限に抑えて,更新対象の全体的な品質を改善する。
  論文  参考訳（メタデータ） (2020-06-16T03:41:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。