論文の概要: Adaptive Gradient Methods with Local Guarantees
- arxiv url: http://arxiv.org/abs/2203.01400v1
- Date: Wed, 2 Mar 2022 20:45:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-05 11:07:44.037492
- Title: Adaptive Gradient Methods with Local Guarantees
- Title(参考訳): 局所保証による適応勾配法
- Authors: Zhou Lu, Wenhan Xia, Sanjeev Arora, Elad Hazan
- Abstract要約: 本稿では,最良局所前提条件に対する適応的後悔保証を証明可能な適応的勾配法を提案する。
視覚領域や言語領域で人気のあるベンチマークタスクに対して,最適な学習率スケジュールを自動的に選択する上で,本手法の堅牢性を示す。
- 参考スコア(独自算出の注目度): 48.980206926987606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adaptive gradient methods are the method of choice for optimization in
machine learning and used to train the largest deep models. In this paper we
study the problem of learning a local preconditioner, that can change as the
data is changing along the optimization trajectory. We propose an adaptive
gradient method that has provable adaptive regret guarantees vs. the best local
preconditioner. To derive this guarantee, we prove a new adaptive regret bound
in online learning that improves upon previous adaptive online learning
methods. We demonstrate the robustness of our method in automatically choosing
the optimal learning rate schedule for popular benchmarking tasks in vision and
language domains. Without the need to manually tune a learning rate schedule,
our method can, in a single run, achieve comparable and stable task accuracy as
a fine-tuned optimizer.
- Abstract(参考訳): 適応勾配法(adaptive gradient method)は、機械学習における最適化の方法であり、最大の深層モデルの訓練に用いられる。
本稿では,最適化軌道に沿ってデータが変化するにつれて変化しうるローカルプリコンディショナーを学習する問題について検討する。
本稿では,最良局所前提条件に対する適応的後悔保証を証明可能な適応的勾配法を提案する。
この保証を導出するために,従来の適応型オンライン学習法を改善するオンライン学習における新たな適応型後悔を証明した。
視覚領域や言語領域で一般的なベンチマークタスクに対して最適な学習率スケジュールを自動的に選択する手法の堅牢性を示す。
学習率のスケジュールを手動で調整する必要がなく、単一の実行で、微調整オプティマイザとして同等で安定したタスク精度を達成することができる。
関連論文リスト
- Interpreting Adaptive Gradient Methods by Parameter Scaling for
Learning-Rate-Free Optimization [14.009179786857802]
深層ニューラルネットワークの学習に使用される適応的勾配法について,学習率を推定する上での課題に対処する。
学習速度のないいくつかのアプローチが提案されているが、それらは典型的には最も急降下に適したものである。
本稿では,適応勾配法をパラメータスケールネットワークに適用した最も急勾配と解釈する。
論文 参考訳(メタデータ) (2024-01-06T15:45:29Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳(メタデータ) (2023-09-12T14:36:13Z) - A Nonstochastic Control Approach to Optimization [26.744354103012448]
制御前提条件からの最近の手法が凸ノリティの課題を克服できることを示す。
メソッドのクラスから、類似の結果を後見で得る方法を学ぶことができる。
論文 参考訳(メタデータ) (2023-01-19T06:08:01Z) - Differentially Private Adaptive Optimization with Delayed
Preconditioners [44.190582378775694]
補助データのないトレーニングにおいて適応幾何学を推定する手法を探索する。
適応的手法が古いプレコンディショナーを許容できるという観察に感銘を受けて、我々は微分適応型プライベートトレーニングを提案する。
実験的にDP2を探索し、非適応ベースラインに対して最大4倍の収束速度を向上できることを実証した。
論文 参考訳(メタデータ) (2022-12-01T06:59:30Z) - Introduction to Online Nonstochastic Control [65.18774760752588]
オンラインの非確率制御では、コスト関数と仮定された力学モデルからの摂動の両方が敵によって選択される。
目標は、ベンチマーククラスの政策から見て、最高の政策に対して低い後悔を得ることだ。
論文 参考訳(メタデータ) (2022-11-17T16:12:45Z) - BFE and AdaBFE: A New Approach in Learning Rate Automation for
Stochastic Optimization [3.541406632811038]
学習速度を自動的に調整する勾配に基づく最適化手法を提案する。
このアプローチは、勾配降下(SGD)アルゴリズムに基づく学習率を最適化する代替手法である可能性がある。
論文 参考訳(メタデータ) (2022-07-06T15:55:53Z) - Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive
Step Size [29.15132344744801]
本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。
これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
論文 参考訳(メタデータ) (2021-12-30T00:50:30Z) - Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
本稿では,適応的(確率的)勾配摂動法を提案する。
ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-10-14T15:02:20Z) - SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。
特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文 参考訳(メタデータ) (2021-06-15T15:16:28Z) - Self-Tuning Stochastic Optimization with Curvature-Aware Gradient
Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。
モデルに基づく手続きが雑音勾配設定に収束することを証明する。
これは自己チューニング二次体を構築するための興味深いステップである。
論文 参考訳(メタデータ) (2020-11-09T22:07:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。