論文の概要: Adaptive Stepsizing for Stochastic Gradient Langevin Dynamics in Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2511.11666v2
• Date: Tue, 18 Nov 2025 10:17:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 13:59:16.686012
• Title: Adaptive Stepsizing for Stochastic Gradient Langevin Dynamics in Bayesian Neural Networks
• Title（参考訳）: ベイジアンニューラルネットワークにおける確率勾配ランゲヴィンダイナミクスの適応ステップ化
• Authors: Rajit Rajpal, Benedict Leimkuhler, Yuanhao Jiang,
• Abstract要約: SA-SGLDを導入し, 時間再スケーリングを用いて, 監視量に応じて段差を変調する手法を提案する。 提案手法は, 高精度な2次元玩具のSGLDや, シャープな先行画像を用いたBNN画像の分類において, SGLDよりも高精度な後方サンプリングを実現することができることを示す。
• 参考スコア（独自算出の注目度）: 3.0102563923286856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian neural networks (BNNs) require scalable sampling algorithms to approximate posterior distributions over parameters. Existing stochastic gradient Markov Chain Monte Carlo (SGMCMC) methods are highly sensitive to the choice of stepsize and adaptive variants such as pSGLD typically fail to sample the correct invariant measure without addition of a costly divergence correction term. In this work, we build on the recently proposed `SamAdams' framework for timestep adaptation (Leimkuhler, Lohmann, and Whalley 2025), introducing an adaptive scheme: SA-SGLD, which employs time rescaling to modulate the stepsize according to a monitored quantity (typically the local gradient norm). SA-SGLD can automatically shrink stepsizes in regions of high curvature and expand them in flatter regions, improving both stability and mixing without introducing bias. We show that our method can achieve more accurate posterior sampling than SGLD on high-curvature 2D toy examples and in image classification with BNNs using sharp priors.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、パラメータの後方分布を近似するためにスケーラブルなサンプリングアルゴリズムを必要とする。 既存の確率勾配マルコフ・チェイン・モンテカルロ法(SGMCMC)は、pSGLDのような段階的および適応的な変量の選択に非常に敏感である。 本研究では、最近提案された時間段階適応のための「SamAdams」フレームワーク(Leimkuhler, Lohmann, Whalley 2025)に基づいて、適応型スキーム(SA-SGLD)を導入する。 SA-SGLDは、高い曲率の領域で自動的に段差を縮小し、より平坦な領域で拡大し、バイアスを導入することなく安定性と混合性を改善する。 提案手法は, 高精度な2次元玩具のSGLDや, シャープな先行画像を用いたBNN画像の分類において, SGLDよりも高精度な後方サンプリングを実現することができることを示す。

関連論文リスト

• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• A Langevin sampling algorithm inspired by the Adam optimizer [0.0]
  本稿では,時間スケールのLangevinダイナミクスに基づく適応段階MCMCサンプリングのためのフレームワークを提案する。 我々のアルゴリズムは実装が簡単で、任意のオフザペグの固定ステップLangevinインテグレータと簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2025-04-26T12:57:57Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Layer-wise Adaptive Step-Sizes for Stochastic First-Order Methods for Deep Learning [8.173034693197351]
  深層学習における一階最適化のための新しい階層ごとの適応的なステップサイズ手順を提案する。 提案手法は,ディープニューラルネットワーク(DNN)におけるヘシアン対角ブロックに含まれる層次曲率情報を用いて,各層に対する適応的なステップサイズ(LR)を算出する。 数値実験により、SGDの運動量とAdamWと、提案した層ごとのステップサイズを組み合わせることで、効率的なLRスケジュールを選択できることが示されている。
  論文  参考訳（メタデータ） (2023-05-23T04:12:55Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。