論文の概要: An Exponential Averaging Process with Strong Convergence Properties

• arxiv url: http://arxiv.org/abs/2505.10605v1
• Date: Thu, 15 May 2025 16:19:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:13.285479
• Title: An Exponential Averaging Process with Strong Convergence Properties
• Title（参考訳）: 強い収束特性を持つ指数平均化法
• Authors: Frederik Köhne, Anton Schiela,
• Abstract要約: あるシナリオでは、ランダムな力学系の軌道に沿ってなされた観測が特に興味深い。 このようなシナリオに対する一般的な平滑化手法の1つは指数的移動平均化(EMA)であり、これは観測結果をその年齢で指数関数的に減少する重みを割り当てるものである。 しかし、EMAは、最も若い観測に割り当てられた重量が時間とともに一定であるという事実から、強い収束特性を享受できない。 我々はEMAへの適応を$p$-EMAと呼び、最後に割り当てられた重みは低調波速度でゼロに減少する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Averaging, or smoothing, is a fundamental approach to obtain stable, de-noised estimates from noisy observations. In certain scenarios, observations made along trajectories of random dynamical systems are of particular interest. One popular smoothing technique for such a scenario is exponential moving averaging (EMA), which assigns observations a weight that decreases exponentially in their age, thus giving younger observations a larger weight. However, EMA fails to enjoy strong stochastic convergence properties, which stems from the fact that the weight assigned to the youngest observation is constant over time, preventing the noise in the averaged quantity from decreasing to zero. In this work, we consider an adaptation to EMA, which we call $p$-EMA, where the weights assigned to the last observations decrease to zero at a subharmonic rate. We provide stochastic convergence guarantees for this kind of averaging under mild assumptions on the autocorrelations of the underlying random dynamical system. We further discuss the implications of our results for a recently introduced adaptive step size control for Stochastic Gradient Descent (SGD), which uses $p$-EMA for averaging noisy observations.
• Abstract（参考訳）: 平均化(英: Averaging)または平滑化(英: smoothing)は、ノイズ観測から安定でノイズのない推定値を得るための基本的なアプローチである。 あるシナリオでは、ランダムな力学系の軌道に沿ってなされた観測が特に興味深い。 このようなシナリオに対する一般的な平滑化手法の1つは指数的移動平均化(EMA)であり、これは観察を年齢とともに指数関数的に減少する重みを割り当て、若い観察をより大きな重みにする。 しかしながら、EMAは、最も若い観測に割り当てられた重量が時間とともに一定であるという事実から、強い確率収束特性を享受することができず、平均的な量のノイズがゼロに減少するのを防ぐことができる。 本研究では,最後の観測に割り当てられた重みが低調波速度でゼロになるようなEMAへの適応を$p$-EMAと呼ぶ。 我々は、基礎となるランダム力学系の自己相関に関する穏やかな仮定の下で、この種の平均化に対する確率収束を保証する。 さらに,SGD (Stochastic Gradient Descent) の適応的なステップサイズ制御について検討した。

関連論文リスト

• Exponential Moving Average of Weights in Deep Learning: Dynamics and Benefits [11.801688624472009]
  重量の指数移動平均(EMA)について系統的研究を行った。 EMA ソリューションは最終項目のソリューションと異なることを示す。 重みのEMAは、深層学習モデルの性能を向上させるためのシンプルで効果的なプラグインであることが示唆された。
  論文  参考訳（メタデータ） (2024-11-27T19:14:27Z)
• Stochastic Localization via Iterative Posterior Sampling [2.1383136715042417]
  我々は、一般的なローカライゼーションフレームワークを検討し、フレキシブルなdenoisingスケジュールに関連する観察プロセスの明示的なクラスを導入する。 我々は、このダイナミクスの近似的なサンプルを得るために、SLIPS (Iterative Posterior Sampling$) による完全な方法論である $textitStochastic Localization を提供する。 SLIPSの利点と適用性について,数種類のマルチモーダル分布のベンチマークで論じる。例えば,増加次元の混合,ロジスティック回帰,統計力学からの高次元場システムなどである。
  論文  参考訳（メタデータ） (2024-02-16T15:28:41Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Butterfly Effects of SGD Noise: Error Amplification in Behavior Cloning and Autoregression [70.78523583702209]
  深層ニューラルネットワークを用いた行動クローニングの訓練不安定性について検討した。 トレーニング中のSGD更新の最小化は,長期的報奨の急激な振動をもたらすことが観察された。
  論文  参考訳（メタデータ） (2023-10-17T17:39:40Z)
• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• The effective noise of Stochastic Gradient Descent [9.645196221785694]
  Gradient Descent (SGD) は、ディープラーニング技術のワークホースアルゴリズムである。 SGDのパラメータと最近導入された変種である永続型SGDをニューラルネットワークモデルで特徴づける。 よりノイズの多いアルゴリズムは、対応する制約満足度問題のより広い決定境界につながる。
  論文  参考訳（メタデータ） (2021-12-20T20:46:19Z)
• Stochastic Optimization under Distributional Drift [3.0229888038442922]
  予測と高い確率の両方で有効な境界に焦点をあて、平均化を繰り返すアルゴリズムに対して非漸近収束保証を提供する。 勾配法の追従効率がステップ崩壊スケジュールから大きく向上する低ドリフト・ツー・ノイズ方式を同定する。
  論文  参考訳（メタデータ） (2021-08-16T21:57:39Z)
• Noise and Fluctuation of Finite Learning Rate Stochastic Gradient Descent [3.0079490585515343]
  勾配降下(SGD)は、消滅する学習率体制において比較的よく理解されている。 SGDとその変異体の基本特性を非退化学習率体系で研究することを提案する。
  論文  参考訳（メタデータ） (2020-12-07T12:31:43Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。