論文の概要: On the stability of second order gradient descent for time varying convex functions

• arxiv url: http://arxiv.org/abs/2405.13765v1
• Date: Wed, 22 May 2024 15:50:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 23:25:17.859120
• Title: On the stability of second order gradient descent for time varying convex functions
• Title（参考訳）: 時間変化凸関数に対する二階勾配勾配勾配の安定性について
• Authors: Travis E. Gibson, Sawal Acharya, Anjali Parashar, Joseph E. Gaudio, Anurdha M. Annaswamy,
• Abstract要約: この研究は、Gaudio et al. 2021 と Moreu と Annaswamy 2022 の2階勾配降下に関する結果に基づいており、これは明らかに時間的に異なるコスト関数に適用される。 これらのより一般的な結果は、これらのスキームの設計と認証に役立ち、リアルタイム学習アプリケーションに対する安全で信頼性の高いデプロイメントを保証するのに役立つ。
• 参考スコア（独自算出の注目度）: 0.34952465649465553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient based optimization algorithms deployed in Machine Learning (ML) applications are often analyzed and compared by their convergence rates or regret bounds. While these rates and bounds convey valuable information they don't always directly translate to stability guarantees. Stability and similar concepts, like robustness, will become ever more important as we move towards deploying models in real-time and safety critical systems. In this work we build upon the results in Gaudio et al. 2021 and Moreu and Annaswamy 2022 for second order gradient descent when applied to explicitly time varying cost functions and provide more general stability guarantees. These more general results can aid in the design and certification of these optimization schemes so as to help ensure safe and reliable deployment for real-time learning applications. We also hope that the techniques provided here will stimulate and cross-fertilize the analysis that occurs on the same algorithms from the online learning and stochastic optimization communities.
• Abstract（参考訳）: 機械学習(ML)アプリケーションにデプロイされるグラディエントベースの最適化アルゴリズムは、しばしばその収束率や後悔境界によって分析され、比較される。 これらのレートとバウンダリは価値ある情報を伝達しますが、必ずしも安定性の保証に直接変換するわけではありません。 安定性やロバスト性といった同様の概念は、リアルタイムおよび安全クリティカルなシステムにモデルをデプロイする上で、ますます重要になります。 本研究は,Gaudio et al 2021 と Moreu と Annaswamy 2022 の2次勾配勾配(英語版)において,明示的な時間変動コスト関数に適用した場合の結果に基づいて,より一般的な安定性保証を提供する。 これらのより一般的な結果は、リアルタイム学習アプリケーションに対する安全で信頼性の高いデプロイメントを保証するために、これらの最適化スキームの設計と認定に役立つ。 また、ここで提供される技術は、オンライン学習と確率最適化のコミュニティから、同じアルゴリズムで発生した分析を刺激し、クロスファーティフィケーションすることを期待しています。

関連論文リスト

• Formal guarantees for heuristic optimization algorithms used in machine learning [6.978625807687497]
  グラディエント・Descent(SGD)とその変種は、大規模最適化機械学習(ML)問題において支配的な手法となっている。 本稿では,いくつかの凸最適化手法の形式的保証と改良アルゴリズムの提案を行う。
  論文  参考訳（メタデータ） (2022-07-31T19:41:22Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)
• A Two-Time-Scale Stochastic Optimization Framework with Applications in Control and Reinforcement Learning [22.07834608976826]
  本研究では, 時間変化勾配から試料が生成する問題を解くための2段階勾配法について検討した。 我々は$mathcal(k-2/3O)$の収束が達成されていることを示す。
  論文  参考訳（メタデータ） (2021-09-29T23:15:23Z)
• An automatic differentiation system for the age of differential privacy [65.35244647521989]
  Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである 我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
  論文  参考訳（メタデータ） (2021-09-22T08:07:42Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• A Stable High-order Tuner for General Convex Functions [0.0]
  線形回帰問題に対して高次チューナー (HT) を開発した。 本稿では、一般凸損失関数に対する同じHTの結果を拡張し、議論する。 本稿では,HTアルゴリズムの満足な動作を支援する数値シミュレーションと,高速化学習特性について述べる。
  論文  参考訳（メタデータ） (2020-11-19T17:50:53Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Accelerated Learning with Robustness to Adversarial Regressors [1.0499611180329802]
  本稿では,逆回帰器の存在下での安定性と収束性を保証する離散時間アルゴリズムを提案する。 特に、回帰器が一定である場合、我々のアルゴリズムは少なくとも $tildemathcalO (1/sqrtepsilon)$ において $epsilon$ 準最適点に達する。
  論文  参考訳（メタデータ） (2020-05-04T14:42:49Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)
• Stochastic Polyak Step-size for SGD: An Adaptive Learning Rate for Fast Convergence [30.393999722555154]
  本稿では,古典的ポリアクステップサイズ (Polyak, 1987) の亜次法でよく用いられる変種を提案する。 The proposed Polyak step-size (SPS) is a attractive choice for set the learning rate for gradient descent。
  論文  参考訳（メタデータ） (2020-02-24T20:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。