論文の概要: Heavy-Tailed and Long-Range Dependent Noise in Stochastic Approximation: A Finite-Time Analysis

• arxiv url: http://arxiv.org/abs/2603.19648v1
• Date: Fri, 20 Mar 2026 05:17:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.002464
• Title: Heavy-Tailed and Long-Range Dependent Noise in Stochastic Approximation: A Finite-Time Analysis
• Title（参考訳）: 確率近似における重み付きおよび長距離依存雑音:有限時間解析
• Authors: Siddharth Chandak, Anuj Yadav, Ayfer Ozgur, Nicholas Bambos,
• Abstract要約: 非古典的雑音モデルの下で強い単調作用素の根を求めるための近似(SA)について検討する。 我々の分析では、繰り返しを変更せずにノイズの影響を規則化するノイズ回避の議論を採用している。
• 参考スコア（独自算出の注目度）: 5.319609927556882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic approximation (SA) is a fundamental iterative framework with broad applications in reinforcement learning and optimization. Classical analyses typically rely on martingale difference or Markov noise with bounded second moments, but many practical settings, including finance and communications, frequently encounter heavy-tailed and long-range dependent (LRD) noise. In this work, we study SA for finding the root of a strongly monotone operator under these non-classical noise models. We establish the first finite-time moment bounds in both settings, providing explicit convergence rates that quantify the impact of heavy tails and temporal dependence. Our analysis employs a noise-averaging argument that regularizes the impact of noise without modifying the iteration. Finally, we apply our general framework to stochastic gradient descent (SGD) and gradient play, and corroborate our finite-time analysis through numerical experiments.
• Abstract（参考訳）: 確率近似(Stochastic Approximation、SA)は、強化学習と最適化に広く応用された基本的な反復的フレームワークである。 古典的な分析は、典型的にはマーチンゲール差やマルコフノイズに依存しているが、金融や通信を含む多くの実践的な設定は、しばしば重尾と長距離依存(LRD)ノイズに遭遇する。 本研究では,これらの非古典的雑音モデルの下での強単調作用素の根を求めるためのSAについて検討する。 両設定で最初の有限時間モーメント境界を確立し、重尾の影響と時間的依存を定量化するための明示的な収束率を提供する。 我々の分析では、繰り返しを変更せずにノイズの影響を規則化するノイズ回避の議論を採用している。 最後に,確率的勾配降下(SGD)と勾配運動に適用し,有限時間解析を数値実験により相関させる。

関連論文リスト

• Stability and Generalization of Nonconvex Optimization with Heavy-Tailed Noise [24.27538723361077]
  重み付き雑音下で境界を確立するための一般的な枠組みを開発する。 重み付き雑音下でのいくつかの人気アルゴリズムの安定性と一般化解析について述べる。
  論文  参考訳（メタデータ） (2026-01-27T15:50:57Z)
• Asymptotic and Finite Sample Analysis of Nonexpansive Stochastic Approximations with Markovian Noise [20.474661995490365]
  本研究は、単に拡張的でない作用素との近似を研究する。 特にマルコフ雑音による非拡張近似について検討する。 応用として、古典的な平均報酬時間差学習が標本経路依存の固定点に収束することを初めて証明する。
  論文  参考訳（メタデータ） (2024-09-29T04:16:24Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Correlated Noise in Epoch-Based Stochastic Gradient Descent: Implications for Weight Variances [0.0]
  勾配降下(SGD)はニューラルネットワーク最適化の基盤となっている。 運動量を伴う離散時間SGDの定常分布に及ぼすエポックノイズ相関の影響について検討する。
  論文  参考訳（メタデータ） (2023-06-08T15:45:57Z)
• Tradeoffs between convergence rate and noise amplification for momentum-based accelerated optimization algorithms [8.669461942767098]
  モーメントに基づく1次最適化アルゴリズムについて検討し, 繰り返しが付加的な白色雑音を受ける場合について検討した。 強い凸2次問題に対しては、雑音増幅の定量化のために最適化変数における誤差の定常分散を用いる。 雑音増幅と定位時間のバランスをとるアルゴリズムの2つのパラメータ化ファミリを導入する。
  論文  参考訳（メタデータ） (2022-09-24T04:26:30Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Stochastic Approximation with Markov Noise: Analysis and applications in reinforcement learning [0.0]
  マルコフ雑音によって駆動される2つの時間スケール近似の収束解析を初めて提示する。 両方の時間スケールにおける差分包摂を限定することで、フレームワークの挙動を分析する。 ポリシ評価アルゴリズムの関数近似における最初の情報的誤差境界を求める。
  論文  参考訳（メタデータ） (2020-04-08T03:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。