論文の概要: Variance Reduction for Stochastic Gradient Generalized Non-reversible Langevin Monte Carlo Algorithms
- arxiv url: http://arxiv.org/abs/2606.28808v1
- Date: Sat, 27 Jun 2026 08:25:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.696141
- Title: Variance Reduction for Stochastic Gradient Generalized Non-reversible Langevin Monte Carlo Algorithms
- Title（参考訳）: 確率勾配一般化非可逆ランゲバンモンテカルロアルゴリズムの可変化
- Abstract要約: 非可逆ランゲヴィン力学に対する勾配丸山推定器の序列変動について検討する。
我々は、逆二乗階段の水平方向上の経験的平均が、消滅段数状態における中心極限定理を満たすことを証明した。
- 参考スコア（独自算出の注目度）: 7.336637417508747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the leading-order fluctuation of stochastic gradient Euler-Maruyama estimators for generalized non-reversible Langevin dynamics. Under structural assumptions tailored to the small-stepsize central limit theorem and under an unbiased stochastic gradient oracle, we prove that the empirical average over a horizon of order the inverse squared stepsize satisfies a central limit theorem in the vanishing-stepsize regime. The limiting variance is characterized through the Poisson equation of the limiting full-gradient diffusion. We then rewrite this constant in an operator form that links it to the continuous-time asymptotic variance and, under standard operator-theoretic assumptions, derive a sufficient condition under which an anti-symmetric perturbation strictly reduces the leading-order fluctuation constant relative to the reversible baseline. We also identify bounded smooth predictive observables that re directly covered by the main theorem. As a separate Gaussian calculation beyond the bounded-test-function regime, we obtain closed-form formulas for quadratic Hamiltonians and linear observables. The framework covers non-reversible Langevin dynamics and augmented-state examples including Hessian-free high-resolution dynamics and a positive-definite subclass of gradient-adjusted underdamped Langevin dynamics that allow stochastic gradients. Numerical experiments on basic examples and Bayesian linear regression using synthetic data, and Bayesian logistic regression using real data support the predicted Gaussian fluctuations and show that the non-reversible schemes consistently reduce the root mean squared error (RMSE) relative to their reversible baselines.
- Abstract（参考訳）: 一般化された非可逆ランゲヴィンダイナミクスに対する確率勾配オイラー・丸山推定器の序列変動について検討する。
小さな段階的な中心極限定理に合わせた構造的仮定と、偏りのない確率勾配のオラクルの下では、逆二乗の階段化の水平線上の経験的平均が、消滅した段階化状態における中心極限定理を満たすことを証明している。
制限分散は、制限フル勾配拡散のポアソン方程式によって特徴づけられる。
次に、この定数を連続時間漸近分散にリンクする作用素形式で書き直し、標準作用素理論の仮定の下では、反対称摂動が可逆基底線に対する先行次変動定数を厳密に減少させる十分条件を導出する。
また、主定理によって直接被覆される有界な滑らかな予測可観測物も同定する。
有界-テスト-函数系を超えた別のガウス計算として、二次ハミルトニアンおよび線型可観測体の閉形式式を得る。
このフレームワークは、非可逆ランゲヴィン力学と、ヘッセン自由高分解能力学や確率勾配を許容する勾配調整アンダーダムランゲヴィン力学の正定部分クラスを含む拡張状態の例をカバーしている。
基本例と合成データを用いたベイズ線形回帰に関する数値実験と実データを用いたベイズロジスティック回帰は予測されたガウス変動をサポートし、非可逆的なスキームは、その可逆基底線に対して根平均二乗誤差(RMSE)を一貫して減少させることを示した。
関連論文リスト
- Residual-Based Time Discretization on Nonlinear Approximation Manifolds: Analysis and Gaussian Applications [0.0]
ヒルベルト空間における進化方程式の時間離散パラメトリック近似を残留最小化に基づいて検討する。
離散化と進化方程式のパラメトリゼーション、パラメータ力学を規定するディラック-フランケル変分原理の離散化である。
論文 参考訳（メタデータ） (2026-07-16T14:57:44Z) - A Mean-Field Analysis of Multi-Head Self-Attention under Cross-Entropy Training [0.0]
本稿では,クロスエントロピー最小化により学習した単一層因果多頭部自己注意モデルの平均場理論について述べる。
無限の上限において、平均的な注意ログは確率測度上のリスク関数を定義し、その最初の変動は非線形ワッサーシュタイン勾配流方程式を生成する。
我々は,PDEの長期的挙動について検討する:エネルギー散逸,コンパクト性の下での定常集合への収束,トポロジカルあるいはクルディカ-オジャシエヴィチ仮定の下での1つの定常測度への収束,勾配支配条件下での明示的な収束率。
論文 参考訳（メタデータ） (2026-06-09T06:38:27Z) - On Higher-Order Geometric Refinements of Classical Covariance Asymptotics: An Approach via Intrinsic and Extrinsic Information Geometry [0.0]
混合、曲線指数族、潜在変数モデル、多様体-ルートパラメータ空間を含む曲線モデルでは、有限サンプルの振る舞いは予測から体系的に逸脱することができる。
我々は、正規パラメトリック族をフィッシャー制約ラオ計量の((,g))として見ることにより、座標不変な曲率対応の洗練を開発する。
本稿では,学習速度と後進平均二乗誤差における実対数正準しきい値の役割,および正規理論を特殊ケースとして回復する解空間上の曲率に基づく共分散展開について述べる。
論文 参考訳（メタデータ） (2026-04-14T13:40:13Z) - On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes [15.63629978994481]
我々はこの勾配カスケード設定に関する最初の包括的な理論的解析を提示する。
摂動が勾配収束順序を悪化させない条件を特定する。
論文 参考訳（メタデータ） (2026-02-24T07:47:15Z) - Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。
以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文 参考訳（メタデータ） (2025-10-22T19:06:39Z) - Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。
二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
論文 参考訳（メタデータ） (2025-09-23T09:14:39Z) - Limit Theorems for Stochastic Gradient Descent with Infinite Variance [51.4853131023238]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。
また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文 参考訳（メタデータ） (2024-10-21T09:39:10Z) - Nonparametric regression on random geometric graphs sampled from submanifolds [2.3326951882644553]
ランダムな基底展開により設計したベイズ以前の分布から生じる後部分布の頻繁な挙動を解析する。
これらの手法の後方収縮速度は任意の正の滑らか度指数に対して最小値(対数係数まで)であることを示す。
論文 参考訳（メタデータ） (2024-05-31T15:18:44Z) - Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。
我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。
全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Implicit Bias of Gradient Descent for Logistic Regression at the Edge of
Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く
本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文 参考訳（メタデータ） (2023-05-19T16:24:47Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。