論文の概要: Moment-Accurate Gaussian Mixtures for Constant-Step Stochastic Approximation

• arxiv url: http://arxiv.org/abs/2610.05595v1
• Date: Sun, 04 Oct 2026 23:00:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 12:40:08.990267
• Title: Moment-Accurate Gaussian Mixtures for Constant-Step Stochastic Approximation
• Title（参考訳）: 定ステップ確率近似のためのモーメント-正確なガウス混合
• Abstract要約: 定段階学習の局所ガウスモデルは出力変動と期待損失を予測するが、弱い収束だけではこれらのモーメント予測を正当化しない。 定常エネルギーと局所オルンシュタイン-ウレンベック限界を一致させることにより、モーメント精度のガウス混合を確立する。 ステップサイズが$a$の場合、2階のワッサーシュタイン誤差は$o(sqrt a)$であり、各法則の実際の根重みを使って一様に不変な法則である。
• 参考スコア（独自算出の注目度）: 5.880053014907968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Local Gaussian models of constant-step learning predict output variability and expected losses, but weak convergence alone does not justify these moment predictions. We establish moment-accurate Gaussian mixtures by matching stationary energy with local Ornstein--Uhlenbeck limits, ruling out quadratic tail mass invisible to weak convergence. For step size $a$, the second-order Wasserstein error is $o(\sqrt a)$, uniformly over invariant laws, using each law's actual root weights. The assumptions combine confinement, descent, finitely many hyperbolic equilibria and root continuity with finite-variance innovations. The result yields observable covariances, expected objective gaps and first-order mean shifts, while allowing singular covariances, compatible saddles and weights without a limit. For additive noise given by a fixed invertible transform of independent standardized Student $t_3$ coordinates, symmetry gives an order-sharp $\sqrt a$ smooth-test bound. Numerical transport calculations demonstrate the value of root-specific covariances; controlled SGD studies assess observable predictions across step sizes, batch sizes and model geometries.
• Abstract（参考訳）: 定段階学習の局所ガウスモデルは出力変動と期待損失を予測するが、弱い収束だけではこれらのモーメント予測を正当化しない。 定常エネルギーと局所オルンシュタイン-ウレンベック限界を一致させ、弱い収束に見えない二次尾の質量を除外することで、モーメント精度のガウス混合を確立する。 ステップサイズが$a$の場合、2階のワッサーシュタイン誤差は$o(\sqrt a)$であり、各法則の実際の根重みを使って一様不変法則である。 仮定は閉じ込め、降下、有限個の双曲的平衡、根の連続性と有限分散革新を結合する。 その結果、観測可能な共分散、予測された目的ギャップ、一階平均シフトが得られ、一方、特異な共分散、互換性のあるサドルおよびウェイトが制限なく許容される。 独立に標準化された学生$t_3$座標の固定可逆変換によって与えられる加法的雑音に対して、対称性は順序シャープな$\sqrt a$滑らかなテスト境界を与える。 制御されたSGD研究は、ステップサイズ、バッチサイズ、モデルジオメトリにわたる観測可能な予測を評価する。

関連論文リスト

• Gaussian Limits for SGD Without Stationary Moments [5.880053014907968]
  時間的依存は、ガウスの勾配勾配の近似を定常モーメントから分離することができる。 修正されていない最小二乗 SGD に対して、定常誤差がすべての正のモーメントを無限に持つ標準ガウス境界を持つ設計を構築する。 同じ辺を持つ独立な観測は、代わりに有限の定常分散を与える。
  論文  参考訳（メタデータ） (2026-10-04T23:04:23Z)
• Convergence of Practical Muon with Finite Newton-Schulz Iterations and Nesterov Momentum [11.807444451741851]
  実践的なミューオンは運動量を維持し、各パラメータ行列に対して少数のニュートン-シュルツ反復を実行する。
  論文  参考訳（メタデータ） (2026-09-30T12:19:01Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Equivariant Covariance Tensors: Guaranteed SPD Uncertainty for Tensor-Valued Geometric Learning [5.837391281655422]
  対象が6つのケルビン-マンデル座標を持ち、完全不確実性は6Times6$共分散行列で表される対称ランク2テンソル予測に焦点を当てる。 平均と共分散の両方が回転対称性を保った完全な予測分布をモデル化し、E(3)-同変UQの枠組みを導入する。 提案手法は, 競合性能を達成し, 有効リスクとOOD感度を有する物理的に一貫した対称性を保った不確実性推定値を提供する。
  論文  参考訳（メタデータ） (2026-08-25T10:46:47Z)
• Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
  不変学習は、構造が統計的に識別可能であっても失敗することがある。 ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。 合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
  論文  参考訳（メタデータ） (2026-06-11T05:49:43Z)
• Steady-State Behavior of Constant-Stepsize Stochastic Approximation: Gaussian Approximation and Tail Bounds [9.739744677824286]
  定段近似(SA)は計算効率の学習に広く用いられている。 以前の研究は、段数 $downarrow 0$ のとき中心とスケールの定常状態がガウス確率ベクトルに弱収束することを示していた。 この論文は、固定された$に対して明示的で漸近的でないエラー境界を提供する。
  論文  参考訳（メタデータ） (2026-02-15T02:34:50Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• A lower confidence sequence for the changing mean of non-negative right heavy-tailed observations with bounded mean [9.289846887298854]
  信頼シーケンスは、時間パラメトリックカバレッジ保証付き予測可能なパラメータシーケンスに対する適応されたセット列を生成する。 この研究は、スラックが0に収束するランニング平均条件付き期待値に対して、漸近的でない低CSを構成する。
  論文  参考訳（メタデータ） (2022-10-20T09:50:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。