論文の概要: Doubly Adaptive Scaled Algorithm for Machine Learning Using Second-Order Information

• arxiv url: http://arxiv.org/abs/2109.05198v1
• Date: Sat, 11 Sep 2021 06:39:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:15:47.957080
• Title: Doubly Adaptive Scaled Algorithm for Machine Learning Using Second-Order Information
• Title（参考訳）: 2次情報を用いた機械学習のための2重適応スケールドアルゴリズム
• Authors: Majid Jahani, Sergey Rusakov, Zheng Shi, Peter Richt\'arik, Michael W. Mahoney, Martin Tak\'a\v{c}
• Abstract要約: 本稿では,大規模機械学習問題に対する適応最適化アルゴリズムを提案する。 我々の手法は方向とステップサイズを動的に適応させる。 我々の手法は退屈なチューニング率チューニングを必要としない。
• 参考スコア（独自算出の注目度）: 37.70729542263343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel adaptive optimization algorithm for large-scale machine learning problems. Equipped with a low-cost estimate of local curvature and Lipschitz smoothness, our method dynamically adapts the search direction and step-size. The search direction contains gradient information preconditioned by a well-scaled diagonal preconditioning matrix that captures the local curvature information. Our methodology does not require the tedious task of learning rate tuning, as the learning rate is updated automatically without adding an extra hyperparameter. We provide convergence guarantees on a comprehensive collection of optimization problems, including convex, strongly convex, and nonconvex problems, in both deterministic and stochastic regimes. We also conduct an extensive empirical evaluation on standard machine learning problems, justifying our algorithm's versatility and demonstrating its strong performance compared to other start-of-the-art first-order and second-order methods.
• Abstract（参考訳）: 本稿では,大規模機械学習問題に対する適応最適化アルゴリズムを提案する。 局所曲率とリプシッツ平滑度を低コストで推定し,探索方向とステップサイズを動的に適応する。 探索方向は、局所曲率情報をキャプチャする良好なスケールの対角事前条件行列により予め設定された勾配情報を含む。 学習速度はハイパーパラメータを付加することなく自動的に更新されるため,学習速度チューニングの面倒な作業は不要である。 我々は、決定論的および確率的レジームにおいて、凸、強凸、非凸問題を含む包括的最適化問題の集合に対する収束保証を提供する。 また、標準機械学習問題に対する広範な経験的評価を行い、アルゴリズムの汎用性を正当化し、他の1次および2次方法と比較してその強力な性能を示す。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Adaptive and Optimal Second-order Optimistic Methods for Minimax Optimization [32.939120407900035]
  私たちのアルゴリズムは、イテレーション毎に1つの線形システムだけを解決する必要のある、単純な更新ルールを備えています。 また,提案アルゴリズムの実用性能を,既存の2次アルゴリズムと比較して評価した。
  論文  参考訳（メタデータ） (2024-06-04T06:56:41Z)
• Adaptive Optimization Algorithms for Machine Learning [0.0]
  機械学習は、データ駆動の世界において重要な役割を担います。 この論文は、新しい洞察をもたらし、収束保証を改善した新しいアルゴリズムを導入し、人気のある実用的なアルゴリズムの分析を改善する。
  論文  参考訳（メタデータ） (2023-11-16T21:22:47Z)
• Efficient Methods for Non-stationary Online Learning [67.3300478545554]
  本稿では, 動的後悔と適応的後悔を最適化する効率的な手法を提案し, ラウンド当たりの投影回数を$mathcalO(log T)$から$ $1$まで削減した。 本手法は,パラメータフリーオンライン学習において開発された還元機構を基礎として,非定常オンライン手法に非自明なツイストを必要とする。
  論文  参考訳（メタデータ） (2023-09-16T07:30:12Z)
• Mechanic: A Learning Rate Tuner [52.4242550204696]
  我々は,任意の基本最適化アルゴリズムの学習率尺度係数を調整し,自動的にスケジュールする手法を導入し,それをテクスチャメカニックと呼ぶ。 各種バッチサイズ,スケジュール,基本最適化アルゴリズムを用いて,大規模深層学習タスクにおけるテクスチャメカニックを厳格に評価する。
  論文  参考訳（メタデータ） (2023-05-31T19:32:43Z)
• Adaptive First- and Second-Order Algorithms for Large-Scale Machine Learning [3.0204520109309843]
  機械学習における連続最適化問題に対処する一階法と二階法を考察する。 一階述語の場合、半決定論的から二次正規化への遷移の枠組みを提案する。 本稿では,適応的なサンプリングと適応的なステップサイズを持つ新しい1次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-29T18:10:00Z)
• A Probabilistically Motivated Learning Rate Adaptation for Stochastic Optimization [20.77923050735746]
  一般的な一階法に対して,ガウス推論の観点からの確率的動機付けを提供する。 この推論により、トレーニング中に自動的に適応できる無次元量に学習率を関連付けることができる。 得られたメタアルゴリズムは、学習率を幅広い初期値にわたって頑健に適応させることが示される。
  論文  参考訳（メタデータ） (2021-02-22T10:26:31Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems [12.010310883787911]
  我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。 実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
  論文  参考訳（メタデータ） (2020-05-19T07:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。