論文の概要: Gaussian Limits for SGD Without Stationary Moments

• arxiv url: http://arxiv.org/abs/2610.05599v1
• Date: Sun, 04 Oct 2026 23:04:23 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 20:34:57.02436
• Title: Gaussian Limits for SGD Without Stationary Moments
• Title（参考訳）: 静止モーメントのないSGDのガウス限界
• Abstract要約: 時間的依存は、ガウスの勾配勾配の近似を定常モーメントから分離することができる。 修正されていない最小二乗 SGD に対して、定常誤差がすべての正のモーメントを無限に持つ標準ガウス境界を持つ設計を構築する。 同じ辺を持つ独立な観測は、代わりに有限の定常分散を与える。
• 参考スコア（独自算出の注目度）: 5.880053014907968
• License:
• Abstract: Temporal dependence can separate the Gaussian approximation of stochastic gradient descent from its stationary moments. For unmodified least-squares SGD, we construct a design with standard Gaussian marginals whose stationary error has every positive moment infinite. Independent observations with the same marginals instead give finite stationary variance. Both regimes retain a Gaussian small-step limit. Our general theory establishes pathwise contraction from a finite second design moment, then uses score cancellation and localization to obtain stationary Gaussian and Ornstein--Uhlenbeck limits. Independent Gaussian regression errors yield an exact conditional Gaussian law and total-variation convergence under the same design integrability. Stronger design conditions identify a positive first-order total-variation constant and a deterministic covariance correction with $o(a)$ error. A scalar coverage expansion translates this correction into its inference consequence. Experiments examine distributional error, coverage, and calibration with dependent scores. Together, these results establish precise probability-law approximation beyond moment-based stationary analysis.
• Abstract（参考訳）: 時間的依存は、確率勾配勾配のガウス近似を定常モーメントから分離することができる。 修正されていない最小二乗 SGD に対して、定常誤差がすべての正のモーメントを無限に持つ標準ガウス境界を持つ設計を構築する。 同じ辺を持つ独立な観測は、代わりに有限の定常分散を与える。 どちらの政権もガウスの小さな限界を維持している。 我々の一般理論は、有限第二の設計モーメントから経路的収縮を確立し、スコアキャンセルとローカライゼーションを用いて定常ガウスおよびオルンシュタイン-ウレンベック極限を得る。 独立ガウス回帰誤差は、同じ設計可積分性の下で、厳密な条件付きガウス法則と総変分収束をもたらす。 より強い設計条件は、正の1次全変分定数と$o(a)$エラーによる決定論的共分散補正を識別する。 スカラーカバレッジ拡張は、この補正を推論結果に変換する。 実験では、分布誤差、カバレッジ、キャリブレーションを依存スコアで調べる。 これらの結果により,モーメントに基づく定常解析以上の精度の高い確率-法則近似が確立される。

関連論文リスト

• Moment-Accurate Gaussian Mixtures for Constant-Step Stochastic Approximation [5.880053014907968]
  定段階学習の局所ガウスモデルは出力変動と期待損失を予測するが、弱い収束だけではこれらのモーメント予測を正当化しない。 定常エネルギーと局所オルンシュタイン-ウレンベック限界を一致させることにより、モーメント精度のガウス混合を確立する。 ステップサイズが$a$の場合、2階のワッサーシュタイン誤差は$o(sqrt a)$であり、各法則の実際の根重みを使って一様に不変な法則である。
  論文  参考訳（メタデータ） (2026-10-04T23:00:06Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Time-Uniform Self-Normalized Concentration for Discounted Least Squares: Limits and Corrections [1.599072005190786]
  自己正規化濃度の不等式は、バンドおよび強化学習分析における標準ツールである。 広く使われている重み付き拡張は、非定常問題における割引最小二乗推定器に対する類似の時間一様保証を主張する。 重み付き不等式は、固定決定論的時間毎に有効であることを示し、有効有限および無限水平補正を与え、下流解析の結果について議論する。
  論文  参考訳（メタデータ） (2026-08-20T05:19:11Z)
• LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
  フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる 既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。 本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T04:47:57Z)
• Regularized Variational and Spectral Log-Density-Ratio Estimation in the Gaussian Location Model [0.554780083433538]
  ガウス位置モデルにおけるリッジ正規化対数密度比の推定について検討する。 変分推定器は、経験的クルバック・リーブラー(KL)対数正規化フィッティングであり、その非定数係数は2乗 L2-ペナルティである。
  論文  参考訳（メタデータ） (2026-07-02T08:46:52Z)
• Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
  不変学習は、構造が統計的に識別可能であっても失敗することがある。 ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。 合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
  論文  参考訳（メタデータ） (2026-06-11T05:49:43Z)
• Steady-State Behavior of Constant-Stepsize Stochastic Approximation: Gaussian Approximation and Tail Bounds [9.739744677824286]
  定段近似(SA)は計算効率の学習に広く用いられている。 以前の研究は、段数 $downarrow 0$ のとき中心とスケールの定常状態がガウス確率ベクトルに弱収束することを示していた。 この論文は、固定された$に対して明示的で漸近的でないエラー境界を提供する。
  論文  参考訳（メタデータ） (2026-02-15T02:34:50Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Convergence and concentration properties of constant step-size SGD through Markov chains [0.0]
  定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。 緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。 全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
  論文  参考訳（メタデータ） (2023-06-20T12:36:28Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。