論文の概要: SPRINT: Stochastic Performative Prediction With Variance Reduction

• arxiv url: http://arxiv.org/abs/2509.17304v1
• Date: Mon, 22 Sep 2025 00:56:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.210066
• Title: SPRINT: Stochastic Performative Prediction With Variance Reduction
• Title（参考訳）: SPRINT: 可変化による確率的性能予測
• Authors: Tian Xie, Ding Zhu, Jia Liu, Mahdi Khalili, Xueru Zhang,
• Abstract要約: Performative Prediction(PP)は、機械学習(ML)モデルのためのアルゴリズムフレームワークで、モデルのデプロイメントがトレーニングされたデータの分散に影響を与える。 本稿では,分散還元法 (SS) を用いた性能アルゴリズムを提案し,その解の収束率を$mathO/stTT とする。
• 参考スコア（独自算出の注目度）: 18.735898645810405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Performative prediction (PP) is an algorithmic framework for optimizing machine learning (ML) models where the model's deployment affects the distribution of the data it is trained on. Compared to traditional ML with fixed data, designing algorithms in PP converging to a stable point -- known as a stationary performative stable (SPS) solution -- is more challenging than the counterpart in conventional ML tasks due to the model-induced distribution shifts. While considerable efforts have been made to find SPS solutions using methods such as repeated gradient descent (RGD) and greedy stochastic gradient descent (SGD-GD), most prior studies assumed a strongly convex loss until a recent work established $\mathcal{O}(1/\sqrt{T})$ convergence of SGD-GD to SPS solutions under smooth, non-convex losses. However, this latest progress is still based on the restricted bounded variance assumption in stochastic gradient estimates and yields convergence bounds with a non-vanishing error neighborhood that scales with the variance. This limitation motivates us to improve convergence rates and reduce error in stochastic optimization for PP, particularly in non-convex settings. Thus, we propose a new algorithm called stochastic performative prediction with variance reduction (SPRINT) and establish its convergence to an SPS solution at a rate of $\mathcal{O}(1/T)$. Notably, the resulting error neighborhood is **independent** of the variance of the stochastic gradients. Experiments on multiple real datasets with non-convex models demonstrate that SPRINT outperforms SGD-GD in both convergence rate and stability.
• Abstract（参考訳）: Performative Prediction(PP)は、機械学習(ML)モデルを最適化するためのアルゴリズムフレームワークである。 固定データを持つ従来のMLと比較すると、PPのアルゴリズムは、定常実行安定(SPS)ソリューションとして知られる安定点に収束するが、モデルによる分散シフトのため、従来のMLタスクよりも難しい。 繰り返し勾配降下 (RGD) や欲求確率勾配降下 (SGD-GD) などの手法によるSPS解の発見にはかなりの努力が払われているが、最近の研究でSPS解へのSGD-GDの収束が円滑で非凸な損失で確立されるまで、多くの先行研究は強い凸損失を仮定した。 しかし、この最新の進歩は、確率的勾配推定における制限された有界分散仮定に基づいており、分散とスケールする非消滅誤差近傍との収束境界を導出する。 この制限は収束率の向上とPPの確率最適化における誤差の低減を動機付けます。 そこで本研究では,SPRINTを用いた確率的性能予測という新しいアルゴリズムを提案し,SPS解への収束を$\mathcal{O}(1/T)$とする。 特に、結果として生じる誤差近傍は確率勾配の分散の**非依存**である。 非凸モデルによる複数の実データセットの実験は、SPRINTが収束率と安定性の両方でSGD-GDより優れていることを示した。

関連論文リスト

• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution [5.5165579223151795]
  ランダムな学習率を持つ勾配降下(SGD)の変種を考察する。 ポアソンSGDによって更新されたパラメータの分布は、弱い仮定の下で定常分布に収束することを示す。
  論文  参考訳（メタデータ） (2024-06-23T06:52:33Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Sharper Analysis for Minibatch Stochastic Proximal Point Methods: Stability, Smoothness, and Deviation [41.082982732100696]
  我々は,凸複合リスク最小化問題の解法として,近位点法(M-SPP)のミニバッチ変種について検討した。 ミニバッチサイズが$n$で二次数が$T$のM-SPPは、予想外収束の速さを楽しむことを示す。 小さい$n$-large-$T$設定では、この結果はSPP型アプローチの最もよく知られた結果を大幅に改善する。
  論文  参考訳（メタデータ） (2023-01-09T00:13:34Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。