論文の概要: Distributionally Time-Varying Online Stochastic Optimization under Polyak-{\L}ojasiewicz Condition with Application in Conditional Value-at-Risk Statistical Learning

• arxiv url: http://arxiv.org/abs/2309.09411v1
• Date: Mon, 18 Sep 2023 00:47:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 15:44:34.456176
• Title: Distributionally Time-Varying Online Stochastic Optimization under Polyak-{\L}ojasiewicz Condition with Application in Conditional Value-at-Risk Statistical Learning
• Title（参考訳）: Polyak-{\L}ojasiewicz条件下での時間変化オンライン確率最適化と条件付き統計的学習への応用
• Authors: Yuen-Man Pun, Farhad Farokhi, Iman Shames
• Abstract要約: オンライン最適化のレンズによる時間変化分布に続き、一連の最適化問題を考察する。 本研究では,CVaR学習問題に適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 9.749745086213215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we consider a sequence of stochastic optimization problems following a time-varying distribution via the lens of online optimization. Assuming that the loss function satisfies the Polyak-{\L}ojasiewicz condition, we apply online stochastic gradient descent and establish its dynamic regret bound that is composed of cumulative distribution drifts and cumulative gradient biases caused by stochasticity. The distribution metric we adopt here is Wasserstein distance, which is well-defined without the absolute continuity assumption or with a time-varying support set. We also establish a regret bound of online stochastic proximal gradient descent when the objective function is regularized. Moreover, we show that the above framework can be applied to the Conditional Value-at-Risk (CVaR) learning problem. Particularly, we improve an existing proof on the discovery of the PL condition of the CVaR problem, resulting in a regret bound of online stochastic gradient descent.
• Abstract（参考訳）: 本研究では,オンライン最適化のレンズを通して時間変動分布を追従する確率的最適化問題の列を考える。 損失関数がpolyak-{\l}ojasiewicz条件を満たすと仮定すると、オンライン確率勾配降下を適用し、累積分布ドリフトと確率性に起因する累積勾配バイアスからなるその動的後悔境界を確立する。 ここで採用する分布計量はワッサーシュタイン距離であり、絶対連続性仮定や時間変化の支援セットなしでよく定義される。 また、目的関数が正規化されると、オンライン確率的近位勾配降下の後悔境界を確立する。 さらに,上記のフレームワークを条件付きvalue-at-risk(cvar)学習問題に適用可能であることを示す。 特に,CVaR問題におけるPL条件の発見に関する既存の証明を改良し,オンライン確率勾配降下を後悔させる結果となった。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Online Non-Stationary Stochastic Quasar-Convex Optimization [1.9244735303181755]
  近年の研究では、線形系やロジスティック系の同定などの応用において、クエーサー活性化関数が見つかることが示されている。 動的環境におけるクエーサーにインスパイアされた設計問題を利用するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-07-04T03:24:27Z)
• Risk-averse Learning with Non-Stationary Distributions [18.15046585146849]
  本稿では,ランダムなコスト分布が時間とともに変化するリスク-逆オンライン最適化について検討する。 リスクの条件値(CVaR)をリスク尺度として用いたリスク逆目的関数を最小化する。 設計した学習アルゴリズムは,凸関数と凸関数の両方に対して高い確率で線形動的後悔を実現する。
  論文  参考訳（メタデータ） (2024-04-03T18:16:47Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• On the Sample Complexity and Metastability of Heavy-tailed Policy Search in Continuous Control [47.71156648737803]
  強化学習(Reinforcement learning)は、システムダイナミクスモデルなしで、時間をかけてインセンティブを順次明らかにする、インタラクティブな意思決定のためのフレームワークである。 定義された連鎖を特徴付け、テールインデックスのレヴィプロセスに関連するポリシーがより広いピークに収まることを識別する。
  論文  参考訳（メタデータ） (2021-06-15T20:12:44Z)
• GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online Optimization [4.103281325880475]
  本稿では、中央コーディネータを使わずに、局所的な計算と通信によって、オンライン最適化問題を分散的に解決することを目的とした、計算機エージェントのネットワークを扱う。 本稿では,適応運動量推定法(GTAdam)を用いた勾配追従法と,勾配の1次および2次運動量推定法を組み合わせた勾配追従法を提案する。 マルチエージェント学習によるこれらの数値実験では、GTAdamは最先端の分散最適化手法よりも優れている。
  論文  参考訳（メタデータ） (2020-09-03T15:20:21Z)
• Dynamic Regret of Convex and Smooth Functions [93.71361250701075]
  非定常環境におけるオンライン凸最適化について検討する。 パフォーマンス指標として動的後悔を選択します。 本研究では, 滑らかさを活かして, 動的後悔をさらに高めることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-07T14:10:57Z)
• Online Stochastic Convex Optimization: Wasserstein Distance Variation [15.313864176694832]
  滑らかな凸関数の期待値の最小値を追跡するためのオンライン近勾配法について検討する。 システムや制御文献にインスパイアされた推定・追跡誤差の概念を再考する。 我々は、強い凸性、勾配のリプシッツ性、確率分布のドリフトに対する境界を与える。
  論文  参考訳（メタデータ） (2020-06-02T05:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。