論文の概要: An Energy-Based Self-Adaptive Learning Rate for Stochastic Gradient Descent: Enhancing Unconstrained Optimization with VAV method

• arxiv url: http://arxiv.org/abs/2411.06573v1
• Date: Sun, 10 Nov 2024 19:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:09.094715
• Title: An Energy-Based Self-Adaptive Learning Rate for Stochastic Gradient Descent: Enhancing Unconstrained Optimization with VAV method
• Title（参考訳）: 確率的勾配Descentに対するエネルギーに基づく自己適応学習速度:VAV法による非拘束最適化の強化
• Authors: Jiahao Zhang, Christian Moya, Guang Lin,
• Abstract要約: 本稿では,制約のない最適化問題に対して,エネルギーに基づく自己調整可能な学習率最適化手法を提案する。 補助変数$rを組み、無条件のエネルギー散逸法に固執しながら、バックトラックなしで効率的なエネルギー近似を容易にする。特に、VAVは学習速度がより大きく、訓練過程の初期段階においてより高速な収束を実現する。
• 参考スコア（独自算出の注目度）: 9.298950359150092
• License:
• Abstract: Optimizing the learning rate remains a critical challenge in machine learning, essential for achieving model stability and efficient convergence. The Vector Auxiliary Variable (VAV) algorithm introduces a novel energy-based self-adjustable learning rate optimization method designed for unconstrained optimization problems. It incorporates an auxiliary variable $r$ to facilitate efficient energy approximation without backtracking while adhering to the unconditional energy dissipation law. Notably, VAV demonstrates superior stability with larger learning rates and achieves faster convergence in the early stage of the training process. Comparative analyses demonstrate that VAV outperforms Stochastic Gradient Descent (SGD) across various tasks. This paper also provides rigorous proof of the energy dissipation law and establishes the convergence of the algorithm under reasonable assumptions. Additionally, $r$ acts as an empirical lower bound of the training loss in practice, offering a novel scheduling approach that further enhances algorithm performance.
• Abstract（参考訳）: 学習速度の最適化は、モデルの安定性と効率的な収束を達成するために不可欠な機械学習において、依然として重要な課題である。 Vector Auxiliary Variable (VAV)アルゴリズムは、制約のない最適化問題のために設計された、新しいエネルギーベースの自己調整可能な学習率最適化手法を導入する。 補助変数$r$を組み込み、非条件エネルギー散逸法に固執しながら、バックトラックなしで効率的なエネルギー近似を容易にする。 特に、VAVは学習率を大きくして優れた安定性を示し、トレーニングプロセスの初期段階においてより高速な収束を実現する。 比較分析により、VAVは様々なタスクにおいて確率勾配降下(SGD)よりも優れていることが示された。 また,エネルギー散逸法則の厳密な証明を提供し,合理的な仮定の下でアルゴリズムの収束を確立する。 さらに$r$は、実際のトレーニング損失の実証的な下限として機能し、アルゴリズムのパフォーマンスをさらに向上する新しいスケジューリングアプローチを提供する。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• An Automatic Learning Rate Schedule Algorithm for Achieving Faster Convergence and Steeper Descent [10.061799286306163]
  実世界のニューラルネットワーク最適化におけるデルタバーデルタアルゴリズムの収束挙動について検討する。 RDBD(Regrettable Delta-Bar-Delta)と呼ばれる新しい手法を提案する。 提案手法は,バイアス付き学習率調整の迅速な修正を可能にし,最適化プロセスの収束を保証する。
  論文  参考訳（メタデータ） (2023-10-17T14:15:57Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• An Element-wise RSAV Algorithm for Unconstrained Optimization Problems [13.975774245256561]
  本稿では,新しい最適化アルゴリズムである要素緩和スカラー補助変数(E-RSAV)を提案する。 このアルゴリズムは凸設定における線形収束の厳密な証明を特徴とする。 また,ステッフェンセンステップサイズを持つ適応型E-RSAVを提案する。
  論文  参考訳（メタデータ） (2023-09-07T20:37:23Z)
• Enhanced Teaching-Learning-based Optimization for 3D Path Planning of Multicopter UAVs [2.0305676256390934]
  本稿では,無人航空機(UAV)の新しい経路計画アルゴリズムを提案する。 まず,UAVの移動と安全操作の制約と経路長の要件を組み込んだ目的関数を定義する。 次に, 目的関数の定式化を最小化するために, Multi-subject TLBO というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-31T16:00:32Z)
• An Adaptive Gradient Method with Energy and Momentum [0.0]
  目的関数の勾配に基づく最適化のための新しいアルゴリズムを提案する。 この方法は実装が簡単で、計算効率が良く、大規模機械学習問題に適している。
  論文  参考訳（メタデータ） (2022-03-23T04:48:38Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。