論文の概要: Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance

• arxiv url: http://arxiv.org/abs/2605.26000v1
• Date: Mon, 25 May 2026 16:18:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.462183
• Title: Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance
• Title（参考訳）: 有限変数を超えた確率勾配の統計的推測
• Authors: Jose Blanchet, Peter Glynn, Wenhao Yang,
• Abstract要約: 勾配降下 (SGD) は、大規模統計学習と最適化のための基礎アルゴリズムである。 我々は,SGD軌道から信頼領域を構築するための,効率的なモデルに依存しない手法を開発した。
• 参考スコア（独自算出の注目度）: 10.36372217426986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent (SGD) is a foundational algorithm for large-scale statistical learning and stochastic optimization. However, statistical inference based on SGD iterates remains challenging when stochastic gradients have infinite variance, as the relevant limiting distributions depend on unknown nuisance parameters. In this paper, we develop an efficient, model-agnostic methodology for constructing confidence regions from SGD trajectories that applies in both finite- and infinite-variance regimes. The procedure is based on a joint weak convergence result for the Polyak-Ruppert averaged estimator and an empirical second-moment normalizer constructed from stochastic gradients along the SGD trajectory. This joint limit yields a self-normalized statistic in which the leading tail-dependent scaling terms cancel. We then use a subsampling calibration scheme to estimate the relevant critical values, avoiding explicit estimation of tail indices, slowly varying functions, or stable-law parameters. The resulting confidence regions are straightforward to implement and are asymptotically valid under both the finite- and infinite-second-moment regimes. Simulation studies show reliable coverage in various settings, supporting the proposed method as a practical tool for uncertainty quantification in stochastic optimization.
• Abstract（参考訳）: 確率勾配勾配(SGD)は、大規模統計学習と確率最適化のための基礎アルゴリズムである。 しかし、確率勾配が無限のばらつきを持つ場合、SGDの反復に基づく統計的推測は依然として困難であり、関連する制限分布は未知のニュアンスパラメータに依存する。 本稿では,有限分散系と無限分散系の両方に適用可能なSGD軌道から信頼領域を構築するための,効率的なモデルに依存しない手法を開発する。 本手法は,SGD軌道に沿った確率勾配から構築したPolyak-Ruppert平均化推定器と経験的第二モーメント正規化器の結合弱収束結果に基づく。 この連立極限は、主尾独立スケーリング項がキャンセルされる自己正規化統計値をもたらす。 次に、サブサンプリングキャリブレーション方式を用いて、関連する臨界値を推定し、テール指標、ゆっくりと変化する関数、安定なロッドパラメータの明示的な推定を避ける。 結果として生じる信頼領域は実装が簡単で、漸近的に有限秒モードと無限秒モードの両方で有効である。 シミュレーション研究は,確率最適化における不確実性定量化の実践的ツールとして提案手法を支持する,様々な環境における信頼性の高いカバレッジを示す。

関連論文リスト

• TRSVR: An Adaptive Stochastic Trust-Region Method with Variance Reduction [17.083793956698994]
  本稿では,分散領域(SVRG)を組み込んで収束を加速する非拘束的非還元最適化の信頼手法を提案する。 提案アルゴリズムは勾配情報のみに依存し,関数値の評価を必要としない。
  論文  参考訳（メタデータ） (2026-01-21T04:41:57Z)
• Derivative-Free Sequential Quadratic Programming for Equality-Constrained Stochastic Optimization [3.2489082010225485]
  我々は、客観的で決定論的な等式制約で非線形最適化問題を解くことを検討する。 本稿では,DF-SSQP法を提案する。 標準仮定では,提案したDF-SSQP法を大域的にほぼ収束させる。
  論文  参考訳（メタデータ） (2025-10-25T23:51:20Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness [10.470114319701576]
  本研究では,スムーズな非パラメトリック回帰推定器のためのモデルフリーデバイアス法を提案する。 緩やかな条件下で, 点方向および均一なリスク収束と滑らかさを満足する偏バイアス推定器を得る。
  論文  参考訳（メタデータ） (2024-12-28T15:01:19Z)
• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [55.80276145563105]
  The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。 3つの理論的な貢献により、現在の最先端の成果が向上する。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Semi-Parametric Inference for Doubly Stochastic Spatial Point Processes: An Approximate Penalized Poisson Likelihood Approach [3.085995273374333]
  二重確率点過程は、ランダム強度関数の実現を前提とした不均一過程として空間領域上の事象の発生をモデル化する。 既存の二重確率空間モデルの実装は、計算的に要求され、しばしば理論的な保証が制限され、または制限的な仮定に依存している。
  論文  参考訳（メタデータ） (2023-06-11T19:48:39Z)
• Online Statistical Inference for Stochastic Optimization via Kiefer-Wolfowitz Methods [8.890430804063705]
  The distribution for the Polyak-Ruppert-averaging type Kiefer-Wolfowitz (AKW) estimators。 分布結果は、統計効率と関数クエリの複雑さのトレードオフを反映している。
  論文  参考訳（メタデータ） (2021-02-05T19:22:41Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。