論文の概要: Subsampling Error in Stochastic Gradient Langevin Diffusions
- arxiv url: http://arxiv.org/abs/2305.13882v1
- Date: Tue, 23 May 2023 10:03:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 17:20:12.374908
- Title: Subsampling Error in Stochastic Gradient Langevin Diffusions
- Title（参考訳）: 確率勾配ランゲヴィン拡散におけるサブサンプリング誤差
- Authors: Kexin Jin, Chenguang Liu, Jonas Latz
- Abstract要約: 勾配ランゲヴィンダイナミクス(SGLD)はベイズ分布の近似に用いられる。
我々は,SGLDiffの後部と限界分布の間のワッサーシュタイン距離が平均待ち時間の分断力によって上界されていることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Stochastic Gradient Langevin Dynamics (SGLD) are popularly used to
approximate Bayesian posterior distributions in statistical learning procedures
with large-scale data. As opposed to many usual Markov chain Monte Carlo (MCMC)
algorithms, SGLD is not stationary with respect to the posterior distribution;
two sources of error appear: The first error is introduced by an
Euler--Maruyama discretisation of a Langevin diffusion process, the second
error comes from the data subsampling that enables its use in large-scale data
settings. In this work, we consider an idealised version of SGLD to analyse the
method's pure subsampling error that we then see as a best-case error for
diffusion-based subsampling MCMC methods. Indeed, we introduce and study the
Stochastic Gradient Langevin Diffusion (SGLDiff), a continuous-time Markov
process that follows the Langevin diffusion corresponding to a data subset and
switches this data subset after exponential waiting times. There, we show that
the Wasserstein distance between the posterior and the limiting distribution of
SGLDiff is bounded above by a fractional power of the mean waiting time.
Importantly, this fractional power does not depend on the dimension of the
state space. We bring our results into context with other analyses of SGLD.
- Abstract（参考訳）: Stochastic Gradient Langevin Dynamics (SGLD) は、統計的学習過程におけるベイズ的後部分布を大規模データで近似するために広く用いられている。
通常のマルコフ連鎖モンテカルロ (MCMC) アルゴリズムとは異なり、SGLD は後続分布に関して定常的ではなく、2つのエラー源が現れる: 最初のエラーはランゲヴィン拡散過程のオイラー・マルヤマ離散化によって導入され、2番目のエラーは大規模なデータ設定での使用を可能にするデータサブサンプリングに由来する。
本研究では,SGLDの最適バージョンを,拡散法に基づくMCMC法における最良ケース誤差とみなす純粋サブサンプリング誤差を解析するために検討する。
実際、SGLDiff(Stochastic Gradient Langevin Diffusion)は、データサブセットに対応するランゲヴィン拡散に従って、指数的待ち時間後にデータサブセットを切り替える連続的なマルコフ過程である。
そこで,SGLDiffの後方と限界分布の間のワッサーシュタイン距離は,平均待ち時間の分断力で上界していることを示す。
重要なことに、この分数パワーは状態空間の次元に依存しない。
我々は、SGLDの他の分析とコンテキストに結果をもたらす。
関連論文リスト
- Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - An Improved Analysis of Langevin Algorithms with Prior Diffusion for
Non-Log-Concave Sampling [27.882407333690267]
本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。
また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
論文 参考訳（メタデータ） (2024-03-10T11:50:34Z) - On Independent Samples Along the Langevin Diffusion and the Unadjusted
Langevin Algorithm [18.595570786973948]
マルコフ連鎖に沿って初期および現在の確率変数が独立になる速度について検討する。
連続時間におけるランゲヴィン拡散と離散時間における非調整ランゲヴィンアルゴリズム(ULA)に着目した。
論文 参考訳（メタデータ） (2024-02-26T23:05:02Z) - Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse
Problems [64.29491112653905]
本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。
具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。
提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
論文 参考訳（メタデータ） (2023-03-10T07:42:49Z) - Resolving the Mixing Time of the Langevin Algorithm to its Stationary
Distribution for Log-Concave Sampling [34.66940399825547]
本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。
本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
論文 参考訳（メタデータ） (2022-10-16T05:11:16Z) - A sharp uniform-in-time error estimate for Stochastic Gradient Langevin
Dynamics [11.437892757715877]
グラディエント・ランゲヴィン・ダイナミクス(SGLD)の急激な一様誤差推定法を確立する。
我々は、SGLD反復とランゲヴィン拡散の間のKL分割に対する一様時間$O(eta2)$バウンドを得る。
論文 参考訳（メタデータ） (2022-07-19T14:38:52Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Federated Stochastic Gradient Langevin Dynamics [12.180900849847252]
勾配ランゲヴィン力学(SGLD)のような勾配MCMC法は、大規模後方サンプリングを可能にするために高速だがノイズの多い勾配推定を用いる。
本稿では,局所確率近似を組み合わせ,勾配の修正を行う単純なメカニズムである導出勾配を提案する。
DSGLDが故障した場合に,本手法は遅延通信ラウンドを処理し,ターゲット後方に収束することを示す。
論文 参考訳（メタデータ） (2020-04-23T15:25:09Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳（メタデータ） (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。