論文の概要: Can Microcanonical Langevin Dynamics Leverage Mini-Batch Gradient Noise?

• arxiv url: http://arxiv.org/abs/2602.06500v1
• Date: Fri, 06 Feb 2026 08:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.301841
• Title: Can Microcanonical Langevin Dynamics Leverage Mini-Batch Gradient Noise?
• Title（参考訳）: マイクロカノニカルランゲヴィンダイナミクスはミニバッチ勾配雑音を活用できるか?
• Authors: Emanuel Sommer, Kangning Diao, Jakob Robnik, Uros Seljak, David Rügamer,
• Abstract要約: チェーンモンテカルロのような推論手法を高次元モデルにスケールすることは、ディープラーニングにおける中心的な課題である。 最近の有望な提案であるマイクロカノニカルなLangevin Monte Carloは、様々な問題で最先端のパフォーマンスを示している。 マイクロカノニカルダイナミクスは、ミニバッチ勾配ノイズを効果的に活用できるのか?
• 参考スコア（独自算出の注目度）: 15.401115530780267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling inference methods such as Markov chain Monte Carlo to high-dimensional models remains a central challenge in Bayesian deep learning. A promising recent proposal, microcanonical Langevin Monte Carlo, has shown state-of-the-art performance across a wide range of problems. However, its reliance on full-dataset gradients makes it prohibitively expensive for large-scale problems. This paper addresses a fundamental question: Can microcanonical dynamics effectively leverage mini-batch gradient noise? We provide the first systematic study of this problem, establishing a novel continuous-time theoretical analysis of stochastic-gradient microcanonical dynamics. We reveal two critical failure modes: a theoretically derived bias due to anisotropic gradient noise and numerical instabilities in complex high-dimensional posteriors. To tackle these issues, we propose a principled gradient noise preconditioning scheme shown to significantly reduce this bias and develop a novel, energy-variance-based adaptive tuner that automates step size selection and dynamically informs numerical guardrails. The resulting algorithm is a robust and scalable microcanonical Monte Carlo sampler that achieves state-of-the-art performance on challenging high-dimensional inference tasks like Bayesian neural networks. Combined with recent ensemble techniques, our work unlocks a new class of stochastic microcanonical Langevin ensemble (SMILE) samplers for large-scale Bayesian inference.
• Abstract（参考訳）: マルコフ連鎖モンテカルロのような推論手法を高次元モデルに拡張することは、ベイズ深層学習における中心的な課題である。 最近の有望な提案であるマイクロカノニカルなLangevin Monte Carloは、様々な問題で最先端のパフォーマンスを示している。 しかし、フルデータセットの勾配に依存しているため、大規模な問題では極めて高価である。 マイクロカノニカルダイナミクスは、ミニバッチ勾配ノイズを効果的に活用できるのか? 本稿では, この問題を初めて体系的に研究し, 確率-漸進的ミクロカノニカルダイナミクスの連続時間理論解析を新たに確立する。 複素高次元後方における異方性勾配雑音による理論的に導出されたバイアスと数値不安定性の2つの臨界故障モードを明らかにする。 これらの問題に対処するために、このバイアスを著しく低減し、ステップサイズ選択を自動化し、数値ガードレールを動的に通知する新しいエネルギー分散型適応チューナを開発するために、原理的な勾配雑音プリコンディショニング手法を提案する。 その結果得られたアルゴリズムは堅牢でスケーラブルなモンテカルロサンプリングであり、ベイズニューラルネットワークのような高次元の推論タスクに挑戦する最先端のパフォーマンスを達成する。 最近のアンサンブル技術と組み合わせて、我々の研究は大規模ベイズ推定のための新しい種類の確率的マイクロカノニカルなランゲヴィンアンサンブル(SMILE)を解き放つ。

関連論文リスト

• Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models [57.49136894315871]
  テストタイムスケーリングの新しいパラダイムは、推論モデルと生成視覚モデルにおいて驚くべきブレークスルーをもたらした。 本稿では,テスト時間スケーリングの知識をモデルに組み込むことの課題に対する1つの解決策を提案する。 拡散モデルにおいて、初期入力ノイズを変調するノイズハイパーネットワークにより、報酬誘導試験時間雑音の最適化を行う。
  論文  参考訳（メタデータ） (2025-08-13T17:33:37Z)
• Estimating Multi-chirp Parameters using Curvature-guided Langevin Monte Carlo [7.832209959041259]
  本稿では, チャープの雑音混合によるパラメータの問題について考察する。 目的関数の平均曲率を利用する改良型Langevin Monte Carlo (LMC) サンプリング器を提案する。
  論文  参考訳（メタデータ） (2025-01-30T07:15:38Z)
• Towards Scalable and Deep Graph Neural Networks via Noise Masking [59.058558158296265]
  グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクで顕著に成功している。 計算とストレージのコストが高いため、大きなグラフにスケールすることは困難です。 既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T07:48:14Z)
• Non-convex Bayesian Learning via Stochastic Gradient Markov Chain Monte Carlo [4.656426393230839]
  人工知能(AI)の台頭は、非トリップと不確実性のための現代のディープニューラルネットワーク(DNN)の効率性を重視している。 本論文ではモンテカルロ利用問題を扱うためのツールを提案する。 また,基礎となる正規方程式(ODE)システムに対する2つの動的重要度サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-30T18:25:11Z)
• Unbiasing time-dependent Variational Monte Carlo by projected quantum evolution [44.99833362998488]
  量子系を古典的にシミュレートするためのモンテカルロ変分法(英語版)の精度とサンプルの複雑さを解析する。 時間依存変分モンテカルロ(tVMC)が最もよく用いられるスキームは、体系的な統計的バイアスによって影響を受けることを証明している。 本稿では,各段階における最適化問題の解法に基づく異なるスキームが,そのような問題から解放されていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:38:10Z)
• High Accuracy Uncertainty-Aware Interatomic Force Modeling with Equivariant Bayesian Neural Networks [3.028098724882708]
  原子間力学習のための新しいモンテカルロマルコフ連鎖サンプリングアルゴリズムを提案する。 さらに、NequIPアーキテクチャに基づくニューラルネットワークモデルを導入し、新しいサンプリングアルゴリズムと組み合わせることで、最先端の精度で予測が得られ、不確実性の優れた指標が得られることを示す。
  論文  参考訳（メタデータ） (2023-04-05T10:39:38Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Removing the mini-batching error in Bayesian inference using Adaptive Langevin dynamics [0.0]
  我々は、動的摩擦を伴う標準慣性ランゲヴィン力学の修正である、Adaptive Langevin dynamics(アダプティブランゲヴィン力学)を提唱する。 本稿では,Adaptive Langevinの前提となる仮定の実践的妥当性について検討する。
  論文  参考訳（メタデータ） (2021-05-21T13:39:39Z)
• Robust Learning under Strong Noise via SQs [5.9256596453465225]
  各SQ学習可能なクラスは、幅広いノイズモデルに対して、OPT + $epsilon Misilon誤分類誤差を持つ効率的な学習アルゴリズムを許容することを示す。 この設定は、既知の雑音確率を持つRCNの下で広く研究されている問題分類を大幅に一般化する。
  論文  参考訳（メタデータ） (2020-10-18T21:02:26Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。