論文の概要: Preconditioning for Accelerated Gradient Descent Optimization and Regularization

• arxiv url: http://arxiv.org/abs/2410.00232v1
• Date: Mon, 30 Sep 2024 20:58:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 06:56:01.890815
• Title: Preconditioning for Accelerated Gradient Descent Optimization and Regularization
• Title（参考訳）: 加速グラディエントDescent Optimizationと正規化のためのプレコンディショニング
• Authors: Qiang Ye,
• Abstract要約: AdaGrad、RMSProp、Adamのプレコンディショニングがいかにトレーニングを加速するかを説明します。 ヘッセン条件の改善により,正規化手法がトレーニングをいかに加速するかを実証する。
• 参考スコア（独自算出の注目度）: 2.306205094107543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accelerated training algorithms, such as adaptive learning rates and various normalization methods, are widely used but not fully understood. When regularization is introduced, standard optimizers like adaptive learning rates may not perform effectively. This raises the need for alternative regularization approaches and the question of how to properly combine regularization with preconditioning. In this paper, we address these challenges using the theory of preconditioning as follows: (1) We explain how preconditioning with AdaGrad, RMSProp, and Adam accelerates training; (2) We explore the interaction between regularization and preconditioning, outlining different options for selecting the variables for regularization, and in particular we discuss how to implement that for the gradient regularization; and (3) We demonstrate how normalization methods accelerate training by improving Hessian conditioning, and discuss how this perspective can lead to new preconditioning training algorithms. Our findings offer a unified mathematical framework for understanding various acceleration techniques and deriving appropriate regularization schemes.
• Abstract（参考訳）: 適応学習率や様々な正規化手法などの加速学習アルゴリズムは広く用いられているが、完全には理解されていない。 正規化が導入された場合、適応学習率のような標準オプティマイザは効果的に動作しない。 これにより、代替正則化アプローチの必要性と、正則化とプリコンディショニングを適切に組み合わせる方法についての疑問が持ち上がる。 本稿では,(1) AdaGrad, RMSProp, およびAdamとのプレコンディショニングによるトレーニングの促進,(2) 正規化とプレコンディショニングの相互作用の解明,(2) 正規化のための変数選択の選択肢の概説,そして(3) 正規化手法がヘッセン条件の改善によってトレーニングを加速する方法を実証し, この視点が新しいプレコンディショニングトレーニングアルゴリズムにどのように繋がるかを論じる。 本研究は,様々な加速手法を理解し,適切な正規化スキームを導出するための統一的な数学的枠組みを提供する。

関連論文リスト

• Discounted Adaptive Online Learning: Towards Better Regularization [5.5899168074961265]
  敵対的非定常環境におけるオンライン学習について検討する。 適応的アルゴリズム(例:Optimal)を提案し,適応的でないベースラインを広く改良する。 また、(Gibbs and Candes, 2021)スタイルのオンライン共形予測問題についても検討する。
  論文  参考訳（メタデータ） (2024-02-05T04:29:39Z)
• Conditional Deformable Image Registration with Spatially-Variant and Adaptive Regularization [2.3419031955865517]
  条件付き空間適応型インスタンス正規化(CSAIN)に基づく学習ベース登録手法を提案する。 実験の結果,提案手法は空間変動および適応正則化を達成しつつ,ベースラインアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-03-19T16:12:06Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)
• Toward Learning Robust and Invariant Representations with Alignment Regularization and Data Augmentation [76.85274970052762]
  本論文はアライメント正則化の選択肢の増大を動機としている。 我々は、ロバスト性および不変性の次元に沿って、いくつかの人気のある設計選択のパフォーマンスを評価する。 我々はまた、現実的と考える仮定の下で経験的な研究を補完するために、アライメント正則化の挙動を正式に分析する。
  論文  参考訳（メタデータ） (2022-06-04T04:29:19Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Normalization Techniques in Training DNNs: Methodology, Analysis and Application [111.82265258916397]
  ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である 本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
  論文  参考訳（メタデータ） (2020-09-27T13:06:52Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。