論文の概要: Improving the stability of the covariance-controlled adaptive Langevin thermostat for large-scale Bayesian sampling

• arxiv url: http://arxiv.org/abs/2512.24515v1
• Date: Tue, 30 Dec 2025 23:26:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.512607
• Title: Improving the stability of the covariance-controlled adaptive Langevin thermostat for large-scale Bayesian sampling
• Title（参考訳）: 大規模ベイズサンプリングのための共分散制御型適応型ランゲヴィンサーモスタットの安定性向上
• Authors: Jiani Wei, Xiaocheng Shang,
• Abstract要約: 拡張型CCAdL (CCAi.e., mCCAdL) サーモスタットを提案する。 新たに提案したmCCAdLサーモスタットは,一般的な代替勾配法に比べて,数値安定性を著しく向上することを示す。 また、元のCCAdLサーモスタットで使用されるオイラー型離散化の代わりに、mCCAdLの対称分割法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic gradient Langevin dynamics and its variants approximate the likelihood of an entire dataset, via random (and typically much smaller) subsets, in the setting of Bayesian sampling. Due to the (often substantial) improvement of the computational efficiency, they have been widely used in large-scale machine learning applications. It has been demonstrated that the so-called covariance-controlled adaptive Langevin (CCAdL) thermostat, which incorporates an additional term involving the covariance matrix of the noisy force, outperforms popular alternative methods. A moving average is used in CCAdL to estimate the covariance matrix of the noisy force, in which case the covariance matrix will converge to a constant matrix in long-time limit. Moreover, it appears in our numerical experiments that the use of a moving average could reduce the stability of the numerical integrators, thereby limiting the largest usable stepsize. In this article, we propose a modified CCAdL (i.e., mCCAdL) thermostat that uses the scaling part of the scaling and squaring method together with a truncated Taylor series approximation to the exponential to numerically approximate the exact solution to the subsystem involving the additional term proposed in CCAdL. We also propose a symmetric splitting method for mCCAdL, instead of an Euler-type discretisation used in the original CCAdL thermostat. We demonstrate in our numerical experiments that the newly proposed mCCAdL thermostat achieves a substantial improvement in the numerical stability over the original CCAdL thermostat, while significantly outperforming popular alternative stochastic gradient methods in terms of the numerical accuracy for large-scale machine learning applications.
• Abstract（参考訳）: 確率勾配ランゲヴィン力学とその変種は、ベイズサンプリングの設定において、ランダムな(そして典型的にはより小さい)部分集合を通してデータセット全体の確率を近似する。 計算効率が大幅に向上した(しばしば)ため、大規模な機械学習アプリケーションで広く使われている。 いわゆる共分散制御適応ランゲヴィン(CCAdL)サーモスタットは、雑音力の共分散行列を含む追加用語を取り入れ、一般的な代替手法より優れていることが示されている。 移動平均は、CCAdLでノイズ力の共分散行列を推定するために使用され、その場合、共分散行列は長時間の極限で定数行列に収束する。 さらに, 移動平均を用いた場合, 数値積分器の安定性が低下し, 使用可能な最大段差が制限される可能性が示唆された。 本稿では,拡張型CCAdL (mCCAdL) サーモスタットを提案し,拡張型CCAdLに提案される追加項を含むサブシステムに対する正確な解を数値的に近似するために,拡張型Taylor級数近似とともにスケーリングおよびスクアリング法のスケーリング部分を利用する。 また、元のCCAdLサーモスタットで使用されるオイラー型離散化の代わりに、mCCAdLの対称分割法を提案する。 我々は,新たに提案したMCCAdLサーモスタットが,CCAdLサーモスタットの数値安定性を大幅に向上することを示した。

関連論文リスト

• WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
  低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。 いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。 結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
  論文  参考訳（メタデータ） (2025-11-30T16:17:34Z)
• Variational Autoencoder for Generating Broader-Spectrum prior Proposals in Markov chain Monte Carlo Methods [0.0]
  本研究では,マルコフ連鎖モンテカルロ法(McMC)の効率性と適用性を高めるために,変分オートエンコーダ法を用いる。 VAEフレームワークは、データ駆動のアプローチによって、逆問題におけるより広い範囲の相関構造を柔軟にキャプチャすることを可能にする。
  論文  参考訳（メタデータ） (2025-06-16T14:11:16Z)
• Asymptotically Optimal Change Detection for Unnormalized Pre- and Post-Change Distributions [65.38208224389027]
  本稿では,非正規化前および後の変化分布のみがアクセス可能である場合にのみ,変化を検出する問題に対処する。 提案手法は,最適性能を示すことが知られている累積サム統計量の推定に基づく。
  論文  参考訳（メタデータ） (2024-10-18T17:13:29Z)
• Preferential Subsampling for Stochastic Gradient Langevin Dynamics [3.158346511479111]
  勾配MCMCは、データの小さな一様重み付きサブサンプルを持つ対数姿勢の勾配をバイアスなく見積もっている。 得られた勾配推定器は、高いばらつきおよび衝撃サンプリング性能を示すことができる。 このような手法は,使用中の平均サブサンプルサイズを大幅に削減しつつ,同じレベルの精度を維持することができることを示す。
  論文  参考訳（メタデータ） (2022-10-28T14:56:18Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients [54.90670513852325]
  サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。 EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。 EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
  論文  参考訳（メタデータ） (2020-02-20T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。