論文の概要: Large-scale Uncertainty Quantification for Latent Variable Models Using Subsampling Markov Chain Monte Carlo
- arxiv url: http://arxiv.org/abs/2606.00309v1
- Date: Fri, 29 May 2026 19:34:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.274057
- Title: Large-scale Uncertainty Quantification for Latent Variable Models Using Subsampling Markov Chain Monte Carlo
- Title（参考訳）: 局所マルコフ連鎖モンテカルロを用いた潜在変数モデルの大規模不確実性定量化
- Abstract要約: 我々はSGLD-Gibbsの統計的スケーリング限界理論を開発する。
我々は,大域的パラメータが拡散型極限に収束する一方,各潜伏変数はジャンプ過程に収束し,断続的ギブス更新の使用を反映することを示す。
- 参考スコア（独自算出の注目度）: 5.432885556835047
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Stochastic gradient Langevin dynamics combined with Gibbs updates (SGLD--Gibbs) provides a highly scalable approach to approximate Bayesian inference in latent variable models. However, it remains unclear how to tune the algorithm's hyperparameters in a principled manner to ensure the uncertainty estimates are statistically meaningful. In this work, we address this gap in tuning guidance by developing a statistical scaling limit theory for SGLD--Gibbs. We derive a joint asymptotic limit for the global parameters and latent variables under appropriate space-time rescaling. We show that global parameters converge to a diffusion-type limit, while each latent variable converges to a jump process, reflecting the use of intermittent Gibbs updates. This joint jump-diffusion structure reveals how latent-variable randomness contributes to the stationary distribution of the global parameters. We leverage our results to propose explicit guidance on hyperparameter tuning for SGLD--Gibbs that ensures meaningful uncertainty quantification. Numerical experiments show that SGLD--Gibbs with our tuning guidance leads to better parameter estimates, uncertainty quantification, and predictive performance than stochastic variational inference.
- Abstract（参考訳）: 確率勾配ランゲヴィン力学とギブス更新(SGLD-Gibbs)を組み合わせることで、潜伏変数モデルにおけるベイズ推定を近似する高度にスケーラブルなアプローチが得られるが、不確実性推定が統計的に有意であることを保証するためにアルゴリズムのハイパーパラメータをどのように調整するかは定かではない。この記事では、SGLD-Gibbsの統計的スケーリング限界理論を開発することで、チューニングガイダンスのギャップに対処する。
我々は、適切な時空再スケーリングの下で、大域的パラメータと潜時変数の漸近制限を導出する。
我々は,大域的パラメータが拡散型極限に収束する一方,各潜伏変数はジャンプ過程に収束し,断続的ギブス更新の使用を反映することを示す。
この共同ジャンプ拡散構造は、潜在変数ランダム性が大域パラメータの定常分布にどのように寄与するかを明らかにする。
我々は,SGLD-Gibbsのパラメータ推定,不確実性定量化,および確率的変動推定よりも予測性能の向上につながることを示す数値実験を行った。
関連論文リスト
- Accurate Large-sample Uncertainty Quantification using Stochastic Gradient Markov Chain Monte Carlo [7.029571020570523]
運動量のないSG(L)Dに対する離散時間近似を提案する。
我々はこれらの推定値が実用的なチューニングと不確実性定量化に十分正確であることを示す量的非漸近誤差境界を証明した。
論文 参考訳（メタデータ） (2026-05-29T19:24:38Z) - Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance [10.36372217426986]
勾配降下 (SGD) は、大規模統計学習と最適化のための基礎アルゴリズムである。
我々は,SGD軌道から信頼領域を構築するための,効率的なモデルに依存しない手法を開発した。
論文 参考訳（メタデータ） (2026-05-25T16:18:39Z) - Why SGD is not Brownian Motion: A New Perspective on Stochastic Dynamics [92.39053980710702]
グラディエント・Descent (SGD) は通常ランゲヴィン過程としてモデル化され、ミニバッチノイズがブラウン運動として働くと仮定される。
この近似は、連続時間制限と、離散的なSGD更新を有限学習率で一致しないsqrt(eta)ノイズスケーリングに依存している。
ミニバッチサンプリングによって誘導されるゆらぎのある損失景観における決定論的力学としてのSGDの別の定式化を提案する。
論文 参考訳（メタデータ） (2026-05-21T15:50:40Z) - GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。
GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
論文 参考訳（メタデータ） (2026-02-15T09:57:47Z) - A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。
本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。
また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
論文 参考訳（メタデータ） (2024-08-06T18:18:37Z) - Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution [5.5165579223151795]
ランダムな学習率を持つ勾配降下(SGD)の変種を考察する。
ポアソンSGDによって更新されたパラメータの分布は、弱い仮定の下で定常分布に収束することを示す。
論文 参考訳（メタデータ） (2024-06-23T06:52:33Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳（メタデータ） (2023-06-12T16:28:11Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Global Convergence and Stability of Stochastic Gradient Descent [0.0]
我々は,SGDがほぼ任意の非特異性および雑音モデルの下で定常点に収束することを示す。
我々は,SGDがグローバルな信頼の収束に関する様々な問題に適用可能であることを示す。
論文 参考訳（メタデータ） (2021-10-04T19:00:50Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳（メタデータ） (2021-04-12T16:23:37Z) - ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。
有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文 参考訳（メタデータ） (2020-08-28T14:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。