論文の概要: Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent
- arxiv url: http://arxiv.org/abs/2104.05447v1
- Date: Mon, 12 Apr 2021 13:13:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-13 14:00:41.587251
- Title: Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent
- Title（参考訳）: メタレギュライゼーション:勾配降下における学習率の適応的選択へのアプローチ
- Authors: Guangzeng Xie, Hao Jin, Dachao Lin, Zhihua Zhang
- Abstract要約: 第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
- 参考スコア（独自算出の注目度）: 20.47598828422897
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose \textit{Meta-Regularization}, a novel approach for the adaptive
choice of the learning rate in first-order gradient descent methods. Our
approach modifies the objective function by adding a regularization term on the
learning rate, and casts the joint updating process of parameters and learning
rates into a maxmin problem. Given any regularization term, our approach
facilitates the generation of practical algorithms. When
\textit{Meta-Regularization} takes the $\varphi$-divergence as a regularizer,
the resulting algorithms exhibit comparable theoretical convergence performance
with other first-order gradient-based algorithms. Furthermore, we theoretically
prove that some well-designed regularizers can improve the convergence
performance under the strong-convexity condition of the objective function.
Numerical experiments on benchmark problems demonstrate the effectiveness of
algorithms derived from some common $\varphi$-divergence in full batch as well
as online learning settings.
- Abstract（参考訳）: 1次勾配降下法における学習率の適応的選択のための新しいアプローチである \textit{meta-regularization} を提案する。
本手法は,学習率に正規化項を加えることで目的関数を修正し,パラメータと学習率の合同更新プロセスを最大化問題に投入する。
正規化項がなければ,本手法は実用的なアルゴリズムの生成を促進する。
textit{Meta-Regularization} が正則化器として $\varphi$-divergence を取ると、結果のアルゴリズムは他の一階勾配に基づくアルゴリズムと同等の理論的収束性能を示す。
さらに,目的関数の強凸条件下での収束性能を向上させることができることを理論的に証明した。
ベンチマーク問題に関する数値実験は、一般的な$\varphi$-divergenceから得られるアルゴリズムの有効性とオンライン学習設定を示す。
関連論文リスト
- Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。
本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。
私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
論文 参考訳（メタデータ） (2024-10-15T06:17:59Z) - Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。
ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。
ゲームにおける高速収束と拡張逆最適化への応用について述べる。
論文 参考訳（メタデータ） (2024-08-17T02:22:08Z) - On the convergence of adaptive first order methods: proximal gradient and alternating minimization algorithms [4.307128674848627]
AdaPG$q,r$は、より大きな段階的なポリシーと改善された下位境界を提供することで、既存の結果を統一し、拡張するフレームワークである。
パラメータの$q$と$r$の異なる選択について論じ、数値シミュレーションにより結果の有効性を実証する。
論文 参考訳（メタデータ） (2023-11-30T10:29:43Z) - Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。
提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
論文 参考訳（メタデータ） (2023-05-12T13:53:03Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。
特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文 参考訳（メタデータ） (2021-06-15T15:16:28Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Learning to be Global Optimizer [28.88646928299302]
いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。
学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2020-03-10T03:46:25Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳（メタデータ） (2020-02-13T05:42:27Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。