論文の概要: Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance

• arxiv url: http://arxiv.org/abs/2605.26000v1
• Date: Mon, 25 May 2026 16:18:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.462183
• Title: Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance
• Title（参考訳）: 有限変数を超えた確率勾配の統計的推測
• Abstract要約: 勾配降下 (SGD) は、大規模統計学習と最適化のための基礎アルゴリズムである。 我々は,SGD軌道から信頼領域を構築するための,効率的なモデルに依存しない手法を開発した。
• 参考スコア（独自算出の注目度）: 10.36372217426986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent (SGD) is a foundational algorithm for large-scale statistical learning and stochastic optimization. However, statistical inference based on SGD iterates remains challenging when stochastic gradients have infinite variance, as the relevant limiting distributions depend on unknown nuisance parameters. In this paper, we develop an efficient, model-agnostic methodology for constructing confidence regions from SGD trajectories that applies in both finite- and infinite-variance regimes. The procedure is based on a joint weak convergence result for the Polyak-Ruppert averaged estimator and an empirical second-moment normalizer constructed from stochastic gradients along the SGD trajectory. This joint limit yields a self-normalized statistic in which the leading tail-dependent scaling terms cancel. We then use a subsampling calibration scheme to estimate the relevant critical values, avoiding explicit estimation of tail indices, slowly varying functions, or stable-law parameters. The resulting confidence regions are straightforward to implement and are asymptotically valid under both the finite- and infinite-second-moment regimes. Simulation studies show reliable coverage in various settings, supporting the proposed method as a practical tool for uncertainty quantification in stochastic optimization.
• Abstract（参考訳）: 確率勾配勾配(SGD)は、大規模統計学習と確率最適化のための基礎アルゴリズムである。 しかし、確率勾配が無限のばらつきを持つ場合、SGDの反復に基づく統計的推測は依然として困難であり、関連する制限分布は未知のニュアンスパラメータに依存する。 本稿では,有限分散系と無限分散系の両方に適用可能なSGD軌道から信頼領域を構築するための,効率的なモデルに依存しない手法を開発する。 本手法は,SGD軌道に沿った確率勾配から構築したPolyak-Ruppert平均化推定器と経験的第二モーメント正規化器の結合弱収束結果に基づく。 この連立極限は、主尾独立スケーリング項がキャンセルされる自己正規化統計値をもたらす。 次に、サブサンプリングキャリブレーション方式を用いて、関連する臨界値を推定し、テール指標、ゆっくりと変化する関数、安定なロッドパラメータの明示的な推定を避ける。 結果として生じる信頼領域は実装が簡単で、漸近的に有限秒モードと無限秒モードの両方で有効である。 シミュレーション研究は,確率最適化における不確実性定量化の実践的ツールとして提案手法を支持する,様々な環境における信頼性の高いカバレッジを示す。

関連論文リスト

• Statistical Inference on Gradient Flows [46.05870703588429]
  経験的リスク最小化から生じる勾配流の時間一様統計的推測の理論を考案する。 本稿では,勾配流と連動して進化し,行列の逆転,再サンプリング,サンプル分割を回避するアルゴリズム対応共分散推定器を提案する。 この結果は統計的推測と最適化力学を結びつけ、勾配法における不確実性定量化のための実用的なツールを提供する。
  論文  参考訳（メタデータ） (2026-05-31T14:22:37Z)
• Accurate Large-sample Uncertainty Quantification using Stochastic Gradient Markov Chain Monte Carlo [7.029571020570523]
  運動量のないSG(L)Dに対する離散時間近似を提案する。 我々はこれらの推定値が実用的なチューニングと不確実性定量化に十分正確であることを示す量的非漸近誤差境界を証明した。
  論文  参考訳（メタデータ） (2026-05-29T19:24:38Z)
• TRSVR: An Adaptive Stochastic Trust-Region Method with Variance Reduction [17.083793956698994]
  本稿では,分散領域(SVRG)を組み込んで収束を加速する非拘束的非還元最適化の信頼手法を提案する。 提案アルゴリズムは勾配情報のみに依存し,関数値の評価を必要としない。
  論文  参考訳（メタデータ） (2026-01-21T04:41:57Z)
• Derivative-Free Sequential Quadratic Programming for Equality-Constrained Stochastic Optimization [3.2489082010225485]
  我々は、客観的で決定論的な等式制約で非線形最適化問題を解くことを検討する。 本稿では,DF-SSQP法を提案する。 標準仮定では,提案したDF-SSQP法を大域的にほぼ収束させる。
  論文  参考訳（メタデータ） (2025-10-25T23:51:20Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness [10.470114319701576]
  本研究では,スムーズな非パラメトリック回帰推定器のためのモデルフリーデバイアス法を提案する。 緩やかな条件下で, 点方向および均一なリスク収束と滑らかさを満足する偏バイアス推定器を得る。
  論文  参考訳（メタデータ） (2024-12-28T15:01:19Z)
• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [55.80276145563105]
  The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。 3つの理論的な貢献により、現在の最先端の成果が向上する。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Semi-Parametric Inference for Doubly Stochastic Spatial Point Processes: An Approximate Penalized Poisson Likelihood Approach [3.085995273374333]
  二重確率点過程は、ランダム強度関数の実現を前提とした不均一過程として空間領域上の事象の発生をモデル化する。 既存の二重確率空間モデルの実装は、計算的に要求され、しばしば理論的な保証が制限され、または制限的な仮定に依存している。
  論文  参考訳（メタデータ） (2023-06-11T19:48:39Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Online Statistical Inference for Stochastic Optimization via Kiefer-Wolfowitz Methods [8.890430804063705]
  The distribution for the Polyak-Ruppert-averaging type Kiefer-Wolfowitz (AKW) estimators。 分布結果は、統計効率と関数クエリの複雑さのトレードオフを反映している。
  論文  参考訳（メタデータ） (2021-02-05T19:22:41Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。