論文の概要: A Stable High-order Tuner for General Convex Functions
- arxiv url: http://arxiv.org/abs/2011.09996v3
- Date: Tue, 8 Jun 2021 21:56:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 21:52:05.315770
- Title: A Stable High-order Tuner for General Convex Functions
- Title(参考訳): 一般凸関数のための安定高次チューナー
- Authors: Jos\'e M. Moreu, Anuradha M. Annaswamy
- Abstract要約: 線形回帰問題に対して高次チューナー (HT) を開発した。
本稿では、一般凸損失関数に対する同じHTの結果を拡張し、議論する。
本稿では,HTアルゴリズムの満足な動作を支援する数値シミュレーションと,高速化学習特性について述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Iterative gradient-based algorithms have been increasingly applied for the
training of a broad variety of machine learning models including large
neural-nets. In particular, momentum-based methods, with accelerated learning
guarantees, have received a lot of attention due to their provable guarantees
of fast learning in certain classes of problems and multiple algorithms have
been derived. However, properties for these methods hold only for constant
regressors. When time-varying regressors occur, which is commonplace in dynamic
systems, many of these momentum-based methods cannot guarantee stability.
Recently, a new High-order Tuner (HT) was developed for linear regression
problems and shown to have 1) stability and asymptotic convergence for
time-varying regressors and 2) non-asymptotic accelerated learning guarantees
for constant regressors. In this paper, we extend and discuss the results of
this same HT for general convex loss functions. Through the exploitation of
convexity and smoothness definitions, we establish similar stability and
asymptotic convergence guarantees. Finally, we provide numerical simulations
supporting the satisfactory behavior of the HT algorithm as well as an
accelerated learning property.
- Abstract(参考訳): 反復勾配に基づくアルゴリズムは、大きなニューラルネットを含む幅広い機械学習モデルのトレーニングにますます応用されている。
特に、モーメントに基づく手法は、ある種の問題における高速学習の証明可能な保証と複数のアルゴリズムの導出により、多くの注目を集めている。
しかしながら、これらのメソッドのプロパティは、一定の回帰子のみを保持する。
動的システムに共通する時間変化回帰器が発生すると、これらの運動量に基づく手法の多くは安定性を保証できない。
近年,線形回帰問題に対する新しい高次チューナー (HT) が開発され,実現した。
1)時変回帰器の安定性と漸近収束
2) 非漸近的加速学習は一定のレグレッシャに対する保証である。
本稿では, 一般凸損失関数に対する同様の ht の結果を拡張し, 考察する。
凸性と滑らか性の定義の活用により、同様の安定性と漸近収束を保証する。
最後に,htアルゴリズムの動作を良好に支援する数値シミュレーションと,学習の高速化について述べる。
関連論文リスト
- The ODE Method for Stochastic Approximation and Reinforcement Learning
with Markovian Noise [19.661288015371838]
近似アルゴリズムを解析する根本的な課題は、その安定性を確立することである。
本稿では,マルティンゲール差分雑音設定からマルコフ雑音設定へ有界な安定に対するボルカー・メイン定理を拡張する。
我々の分析の中心は、少数の関数の変化の減少率であり、これは多量の強い法則の形式とよく用いられるV4 Lynovドリフト条件の両方によって示唆される。
論文 参考訳(メタデータ) (2024-01-15T17:20:17Z) - Koopman Kernel Regression [6.116741319526748]
クープマン作用素理論は線形時間不変(LTI)ODEによる予測のキャラクタリゼーションに有効なパラダイムであることを示す。
我々は、LTI力学系への変換のみにまたがる、普遍的なクープマン不変核再生ヒルベルト空間(RKHS)を導出する。
実験では、Koopman演算子やシーケンシャルデータ予測器と比較して予測性能が優れていることを示した。
論文 参考訳(メタデータ) (2023-05-25T16:22:22Z) - Temporal Difference Learning with Compressed Updates: Error-Feedback
meets Reinforcement Learning [32.937264507807214]
一般的な強化学習アルゴリズムは、同様の摂動に対して堅牢であることを示す。
我々の研究は、一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを初めて考慮したものである。
論文 参考訳(メタデータ) (2023-01-03T04:09:38Z) - Losing momentum in continuous-time stochastic optimisation [62.997667081978825]
近年,運動量に基づくアルゴリズムが特に普及している。
本研究では,運動量を伴う勾配降下の連続時間モデルを提案し,解析する。
我々は、時間とともに運動量を減らす際に、我々のシステムを世界規模のミニミザーに収束させることを示す。
論文 参考訳(メタデータ) (2022-09-08T10:46:05Z) - Clipped Stochastic Methods for Variational Inequalities with
Heavy-Tailed Noise [64.85879194013407]
単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。
この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。
さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
論文 参考訳(メタデータ) (2022-06-02T15:21:55Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳(メタデータ) (2020-10-28T15:23:49Z) - Stochastically forced ensemble dynamic mode decomposition for
forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。
固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。
電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文 参考訳(メタデータ) (2020-10-08T20:25:52Z) - A High Probability Analysis of Adaptive SGD with Momentum [22.9530287983179]
Gradient Descent(DSG)とその変種は、機械学習アプリケーションで最も使われているアルゴリズムである。
モーメントを持つdelayedGrad の滑らかな非設定において、勾配が 0 になる確率を初めて示す。
論文 参考訳(メタデータ) (2020-07-28T15:06:22Z) - Fine-Grained Analysis of Stability and Generalization for Stochastic
Gradient Descent [55.85456985750134]
我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。
これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。
我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
論文 参考訳(メタデータ) (2020-06-15T06:30:19Z) - Accelerated Learning with Robustness to Adversarial Regressors [1.0499611180329802]
本稿では,逆回帰器の存在下での安定性と収束性を保証する離散時間アルゴリズムを提案する。
特に、回帰器が一定である場合、我々のアルゴリズムは少なくとも $tildemathcalO (1/sqrtepsilon)$ において $epsilon$ 準最適点に達する。
論文 参考訳(メタデータ) (2020-05-04T14:42:49Z) - On Learning Rates and Schr\"odinger Operators [105.32118775014015]
本稿では,学習率の影響に関する一般的な理論的分析を行う。
学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
論文 参考訳(メタデータ) (2020-04-15T09:52:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。