論文の概要: A Stable High-order Tuner for General Convex Functions

• arxiv url: http://arxiv.org/abs/2011.09996v3
• Date: Tue, 8 Jun 2021 21:56:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 21:52:05.315770
• Title: A Stable High-order Tuner for General Convex Functions
• Title（参考訳）: 一般凸関数のための安定高次チューナー
• Authors: Jos\'e M. Moreu, Anuradha M. Annaswamy
• Abstract要約: 線形回帰問題に対して高次チューナー (HT) を開発した。 本稿では、一般凸損失関数に対する同じHTの結果を拡張し、議論する。 本稿では,HTアルゴリズムの満足な動作を支援する数値シミュレーションと,高速化学習特性について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Iterative gradient-based algorithms have been increasingly applied for the training of a broad variety of machine learning models including large neural-nets. In particular, momentum-based methods, with accelerated learning guarantees, have received a lot of attention due to their provable guarantees of fast learning in certain classes of problems and multiple algorithms have been derived. However, properties for these methods hold only for constant regressors. When time-varying regressors occur, which is commonplace in dynamic systems, many of these momentum-based methods cannot guarantee stability. Recently, a new High-order Tuner (HT) was developed for linear regression problems and shown to have 1) stability and asymptotic convergence for time-varying regressors and 2) non-asymptotic accelerated learning guarantees for constant regressors. In this paper, we extend and discuss the results of this same HT for general convex loss functions. Through the exploitation of convexity and smoothness definitions, we establish similar stability and asymptotic convergence guarantees. Finally, we provide numerical simulations supporting the satisfactory behavior of the HT algorithm as well as an accelerated learning property.
• Abstract（参考訳）: 反復勾配に基づくアルゴリズムは、大きなニューラルネットを含む幅広い機械学習モデルのトレーニングにますます応用されている。 特に、モーメントに基づく手法は、ある種の問題における高速学習の証明可能な保証と複数のアルゴリズムの導出により、多くの注目を集めている。 しかしながら、これらのメソッドのプロパティは、一定の回帰子のみを保持する。 動的システムに共通する時間変化回帰器が発生すると、これらの運動量に基づく手法の多くは安定性を保証できない。 近年,線形回帰問題に対する新しい高次チューナー (HT) が開発され,実現した。 1)時変回帰器の安定性と漸近収束 2) 非漸近的加速学習は一定のレグレッシャに対する保証である。 本稿では, 一般凸損失関数に対する同様の ht の結果を拡張し, 考察する。 凸性と滑らか性の定義の活用により、同様の安定性と漸近収束を保証する。 最後に,htアルゴリズムの動作を良好に支援する数値シミュレーションと,学習の高速化について述べる。

関連論文リスト

• Accelerated regularized learning in finite N-person games [34.37854832849245]
  我々は、加速的リーダー(FTXL)と呼ばれる、加速的学習手法のファミリーを紹介する。 FTXLは局所的に超線形速度で厳密なナッシュ平衡に収束し、バニラ正規化学習法を指数的に高速化する。
  論文  参考訳（メタデータ） (2024-12-29T06:09:26Z)
• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
  The consistency properties of TD learning with Polyak-Ruppert averaging and linear function approximation。 まず、分散に明示的に依存し、弱い条件下で保持する新しい高次元確率収束保証を導出する。 さらに、文献よりも高速な速度を保証する凸集合のクラスに対して、洗練された高次元ベリー-エッセイン境界を確立する。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Koopman Kernel Regression [6.116741319526748]
  クープマン作用素理論は線形時間不変(LTI)ODEによる予測のキャラクタリゼーションに有効なパラダイムであることを示す。 我々は、LTI力学系への変換のみにまたがる、普遍的なクープマン不変核再生ヒルベルト空間(RKHS)を導出する。 実験では、Koopman演算子やシーケンシャルデータ予測器と比較して予測性能が優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-25T16:22:22Z)
• Temporal Difference Learning with Compressed Updates: Error-Feedback meets Reinforcement Learning [47.904127007515925]
  本稿では,従来の時間差学習アルゴリズムの変種について検討する。 我々は、圧縮されたTDアルゴリズムと、最適化に広く用いられているエラーフィードバック機構が組み合わさって、漸近的でない近似を保証することを証明した。 特に、これらは一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを考慮に入れたRLにおける最初の有限時間結果である。
  論文  参考訳（メタデータ） (2023-01-03T04:09:38Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• A High Probability Analysis of Adaptive SGD with Momentum [22.9530287983179]
  Gradient Descent(DSG)とその変種は、機械学習アプリケーションで最も使われているアルゴリズムである。 モーメントを持つdelayedGrad の滑らかな非設定において、勾配が 0 になる確率を初めて示す。
  論文  参考訳（メタデータ） (2020-07-28T15:06:22Z)
• Accelerated Learning with Robustness to Adversarial Regressors [1.0499611180329802]
  本稿では,逆回帰器の存在下での安定性と収束性を保証する離散時間アルゴリズムを提案する。 特に、回帰器が一定である場合、我々のアルゴリズムは少なくとも $tildemathcalO (1/sqrtepsilon)$ において $epsilon$ 準最適点に達する。
  論文  参考訳（メタデータ） (2020-05-04T14:42:49Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。