論文の概要: Adaptive Gradient Methods with Local Guarantees

• arxiv url: http://arxiv.org/abs/2203.01400v1
• Date: Wed, 2 Mar 2022 20:45:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-05 11:07:44.037492
• Title: Adaptive Gradient Methods with Local Guarantees
• Title（参考訳）: 局所保証による適応勾配法
• Authors: Zhou Lu, Wenhan Xia, Sanjeev Arora, Elad Hazan
• Abstract要約: 本稿では,最良局所前提条件に対する適応的後悔保証を証明可能な適応的勾配法を提案する。 視覚領域や言語領域で人気のあるベンチマークタスクに対して,最適な学習率スケジュールを自動的に選択する上で,本手法の堅牢性を示す。
• 参考スコア（独自算出の注目度）: 48.980206926987606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive gradient methods are the method of choice for optimization in machine learning and used to train the largest deep models. In this paper we study the problem of learning a local preconditioner, that can change as the data is changing along the optimization trajectory. We propose an adaptive gradient method that has provable adaptive regret guarantees vs. the best local preconditioner. To derive this guarantee, we prove a new adaptive regret bound in online learning that improves upon previous adaptive online learning methods. We demonstrate the robustness of our method in automatically choosing the optimal learning rate schedule for popular benchmarking tasks in vision and language domains. Without the need to manually tune a learning rate schedule, our method can, in a single run, achieve comparable and stable task accuracy as a fine-tuned optimizer.
• Abstract（参考訳）: 適応勾配法(adaptive gradient method)は、機械学習における最適化の方法であり、最大の深層モデルの訓練に用いられる。 本稿では,最適化軌道に沿ってデータが変化するにつれて変化しうるローカルプリコンディショナーを学習する問題について検討する。 本稿では,最良局所前提条件に対する適応的後悔保証を証明可能な適応的勾配法を提案する。 この保証を導出するために,従来の適応型オンライン学習法を改善するオンライン学習における新たな適応型後悔を証明した。 視覚領域や言語領域で一般的なベンチマークタスクに対して最適な学習率スケジュールを自動的に選択する手法の堅牢性を示す。 学習率のスケジュールを手動で調整する必要がなく、単一の実行で、微調整オプティマイザとして同等で安定したタスク精度を達成することができる。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization [14.009179786857802]
  深層ニューラルネットワークの学習に使用される適応的勾配法について,学習率を推定する上での課題に対処する。 学習速度のないいくつかのアプローチが提案されているが、それらは典型的には最も急降下に適したものである。 本稿では,適応勾配法をパラメータスケールネットワークに適用した最も急勾配と解釈する。
  論文  参考訳（メタデータ） (2024-01-06T15:45:29Z)
• A Nonstochastic Control Approach to Optimization [26.744354103012448]
  制御前提条件からの最近の手法が凸ノリティの課題を克服できることを示す。 メソッドのクラスから、類似の結果を後見で得る方法を学ぶことができる。
  論文  参考訳（メタデータ） (2023-01-19T06:08:01Z)
• Differentially Private Adaptive Optimization with Delayed Preconditioners [44.190582378775694]
  補助データのないトレーニングにおいて適応幾何学を推定する手法を探索する。 適応的手法が古いプレコンディショナーを許容できるという観察に感銘を受けて、我々は微分適応型プライベートトレーニングを提案する。 実験的にDP2を探索し、非適応ベースラインに対して最大4倍の収束速度を向上できることを実証した。
  論文  参考訳（メタデータ） (2022-12-01T06:59:30Z)
• BFE and AdaBFE: A New Approach in Learning Rate Automation for Stochastic Optimization [3.541406632811038]
  学習速度を自動的に調整する勾配に基づく最適化手法を提案する。 このアプローチは、勾配降下(SGD)アルゴリズムに基づく学習率を最適化する代替手法である可能性がある。
  論文  参考訳（メタデータ） (2022-07-06T15:55:53Z)
• Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size [29.15132344744801]
  本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。 これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-12-30T00:50:30Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。