論文の概要: On the stability of gradient descent with second order dynamics for time-varying cost functions

• arxiv url: http://arxiv.org/abs/2405.13765v2
• Date: Wed, 30 Oct 2024 13:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 13:57:16.528778
• Title: On the stability of gradient descent with second order dynamics for time-varying cost functions
• Title（参考訳）: 時間変動コスト関数に対する2次ダイナミクスによる勾配勾配勾配の安定性について
• Authors: Travis E. Gibson, Sawal Acharya, Anjali Parashar, Joseph E. Gaudio, Anurdha M. Annaswamy,
• Abstract要約: この研究は、Gaudio et al. 2021 と Moreu & Annaswamy 2022 の2次ダイナミクスによる勾配降下を明示的に時間変化のコスト関数に適用した結果に基づいている。 これらのより一般的な結果は、リアルタイム学習アプリケーションに対する安全で信頼性の高いデプロイメントを保証するために、これらの最適化スキームの設計と認定に役立つ。
• 参考スコア（独自算出の注目度）: 0.34952465649465553
• License:
• Abstract: Gradient based optimization algorithms deployed in Machine Learning (ML) applications are often analyzed and compared by their convergence rates or regret bounds. While these rates and bounds convey valuable information they don't always directly translate to stability guarantees. Stability and similar concepts, like robustness, will become ever more important as we move towards deploying models in real-time and safety critical systems. In this work we build upon the results in Gaudio et al. 2021 and Moreu & Annaswamy 2022 for gradient descent with second order dynamics when applied to explicitly time varying cost functions and provide more general stability guarantees. These more general results can aid in the design and certification of these optimization schemes so as to help ensure safe and reliable deployment for real-time learning applications. We also hope that the techniques provided here will stimulate and cross-fertilize the analysis that occurs on the same algorithms from the online learning and stochastic optimization communities.
• Abstract（参考訳）: 機械学習(ML)アプリケーションにデプロイされるグラディエントベースの最適化アルゴリズムは、しばしばその収束率や後悔境界によって分析され、比較される。 これらのレートとバウンダリは価値ある情報を伝達しますが、必ずしも安定性の保証に直接変換するわけではありません。 安定性やロバスト性といった同様の概念は、リアルタイムおよび安全クリティカルなシステムにモデルをデプロイする上で、ますます重要になります。 本研究は,Gaudio et al 2021 と Moreu & Annaswamy 2022 を用いて,時間変化のコスト関数を明示的に適用した場合の勾配降下を2次ダイナミクスで表し,より一般的な安定性保証を提供する。 これらのより一般的な結果は、リアルタイム学習アプリケーションに対する安全で信頼性の高いデプロイメントを保証するために、これらの最適化スキームの設計と認定に役立つ。 また、ここで提供される技術は、オンライン学習と確率最適化のコミュニティから、同じアルゴリズムで発生した分析を刺激し、クロスファーティフィケーションすることを期待しています。

関連論文リスト

• Safe and Stable Closed-Loop Learning for Neural-Network-Supported Model Predictive Control [0.0]
  基礎となるプロセスについて不完全な情報で操作するパラメタライズド予測コントローラの安全な学習について検討する。 本手法は, クローズドループにおけるシステム全体の長期的性能を安全かつ安定に保ちながら重視する。 ベイズ最適化に基づく学習手法に安定性情報を明示的に組み込むことにより,厳密な確率論的安全保証を実現する。
  論文  参考訳（メタデータ） (2024-09-16T11:03:58Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• An automatic differentiation system for the age of differential privacy [65.35244647521989]
  Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである 我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
  論文  参考訳（メタデータ） (2021-09-22T08:07:42Z)
• Value Iteration in Continuous Actions, States and Time [99.00362538261972]
  連続状態と動作に対する連続的適合値反復(cFVI)アルゴリズムを提案する。 非線形制御アフィンダイナミクスに対して最適なポリシを導出することができる。 物理システムのビデオは、urlhttps://sites.google.com/view/value-iteration.comで入手できる。
  論文  参考訳（メタデータ） (2021-05-10T21:40:56Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• A Stable High-order Tuner for General Convex Functions [0.0]
  線形回帰問題に対して高次チューナー (HT) を開発した。 本稿では、一般凸損失関数に対する同じHTの結果を拡張し、議論する。 本稿では,HTアルゴリズムの満足な動作を支援する数値シミュレーションと,高速化学習特性について述べる。
  論文  参考訳（メタデータ） (2020-11-19T17:50:53Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)
• Stochastic Polyak Step-size for SGD: An Adaptive Learning Rate for Fast Convergence [30.393999722555154]
  本稿では,古典的ポリアクステップサイズ (Polyak, 1987) の亜次法でよく用いられる変種を提案する。 The proposed Polyak step-size (SPS) is a attractive choice for set the learning rate for gradient descent。
  論文  参考訳（メタデータ） (2020-02-24T20:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。