論文の概要: Studying K-FAC Heuristics by Viewing Adam through a Second-Order Lens

• arxiv url: http://arxiv.org/abs/2310.14963v2
• Date: Fri, 31 May 2024 19:31:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:41:02.513463
• Title: Studying K-FAC Heuristics by Viewing Adam through a Second-Order Lens
• Title（参考訳）: アダムを2次レンズで見るK-FACヒューリスティックスの研究
• Authors: Ross M. Clarke, José Miguel Hernández-Lobato,
• Abstract要約: 我々は,K-FACの減衰と学習率選択技術を組み合わせたオプティマイザAdamQLRについて検討した。 我々はAdamQLRを様々なスケールで様々な回帰・分類タスクで評価する。 チューニングされていないAdamQLR設定を見つけることで、チューニングされたベンチマークに対して、実行時と同等のパフォーマンスを実現することができる。
• 参考スコア（独自算出の注目度）: 34.72514951778262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research into optimisation for deep learning is characterised by a tension between the computational efficiency of first-order, gradient-based methods (such as SGD and Adam) and the theoretical efficiency of second-order, curvature-based methods (such as quasi-Newton methods and K-FAC). Noting that second-order methods often only function effectively with the addition of stabilising heuristics (such as Levenberg-Marquardt damping), we ask how much these (as opposed to the second-order curvature model) contribute to second-order algorithms' performance. We thus study AdamQLR: an optimiser combining damping and learning rate selection techniques from K-FAC (Martens & Grosse, 2015) with the update directions proposed by Adam, inspired by considering Adam through a second-order lens. We evaluate AdamQLR on a range of regression and classification tasks at various scales and hyperparameter tuning methodologies, concluding K-FAC's adaptive heuristics are of variable standalone general effectiveness, and finding an untuned AdamQLR setting can achieve comparable performance vs runtime to tuned benchmarks.
• Abstract（参考訳）: ディープラーニングの最適化に関する研究は、一階勾配法(SGDやAdamなど)の計算効率と二階曲線法(準ニュートン法やK-FACなど)の理論的効率との緊張が特徴である。 2階法はしばしば安定化ヒューリスティック(レバンス・マルカート減衰など)の追加で有効に機能するが、これら(二階曲率モデルとは対照的に)が2階アルゴリズムの性能にどの程度寄与するかを問う。 そこで本稿では,K-FAC (Martens & Grosse, 2015) の減衰と学習率選択技術と,Adamが提案した2次レンズによるAdamを考慮した更新方向を併用したオプティマイザであるAdamQLRについて検討する。 K-FACの適応的ヒューリスティックは、可変なスタンドアロンの一般的な有効性であり、未調整のAdamQLR設定は、チューニングされたベンチマークに対して実行時と同等のパフォーマンスを達成することができる。

関連論文リスト

• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。 本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Deconstructing What Makes a Good Optimizer for Language Models [7.9224468703944115]
  SGD,Adafactor,Adam,Lionなどの最適化アルゴリズムを自己回帰言語モデリングの文脈で比較する。 以上の結果から,SGDを除いて,これらのアルゴリズムは最適性能の両立が可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-10T18:11:40Z)
• Estimating the Hessian Matrix of Ranking Objectives for Stochastic Learning to Rank with Gradient Boosted Trees [63.18324983384337]
  グラディエントブースト決定木(GBDT)のランク付け手法について紹介する。 我々の主な貢献は、二階微分、すなわちヘッセン行列に対する新しい推定器である。 推定器を既存のPL-Rankフレームワークに組み込む。
  論文  参考訳（メタデータ） (2024-04-18T13:53:32Z)
• Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
  我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。 我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
  論文  参考訳（メタデータ） (2023-07-02T18:16:06Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning [0.6526824510982802]
  適応勾配法はディープニューラルネットワークの最適化に人気がある。 最近の例にはAdaGradとAdamがある。 我々は適応的勾配法のための汎用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-06-04T17:55:33Z)
• On the efficiency of Stochastic Quasi-Newton Methods for Deep Learning [0.0]
  深部記憶ネットワークのための準ニュートン学習アルゴリズムの動作について検討する。 準ニュートンは効率が良く、よく知られたAdamの1次実行よりも性能が優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-18T20:53:58Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。