論文の概要: Statistical guarantees for stochastic Metropolis-Hastings
- arxiv url: http://arxiv.org/abs/2310.09335v1
- Date: Fri, 13 Oct 2023 18:00:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 22:37:18.012363
- Title: Statistical guarantees for stochastic Metropolis-Hastings
- Title(参考訳): 確率的メトロポリス・ハスティングの統計的保証
- Authors: Sebastian Bieringer, Gregor Kasieczka, Maximilian F. Steffen and
Mathias Trabs
- Abstract要約: バッチ上での受け入れ確率を計算することで、Metropolis-Hastingsステップは計算コストを削減できるが、有効なサンプルサイズを削減できる。
この障害を簡単な補正項で回避できることを示す。
我々は、メトロポリス・ハスティングス・アルゴリズムが、古典的なメトロポリス調整ランゲヴィン・アルゴリズムから得られるものと同様の挙動を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A Metropolis-Hastings step is widely used for gradient-based Markov chain
Monte Carlo methods in uncertainty quantification. By calculating acceptance
probabilities on batches, a stochastic Metropolis-Hastings step saves
computational costs, but reduces the effective sample size. We show that this
obstacle can be avoided by a simple correction term. We study statistical
properties of the resulting stationary distribution of the chain if the
corrected stochastic Metropolis-Hastings approach is applied to sample from a
Gibbs posterior distribution in a nonparametric regression setting. Focusing on
deep neural network regression, we prove a PAC-Bayes oracle inequality which
yields optimal contraction rates and we analyze the diameter and show high
coverage probability of the resulting credible sets. With a numerical example
in a high-dimensional parameter space, we illustrate that credible sets and
contraction rates of the stochastic Metropolis-Hastings algorithm indeed behave
similar to those obtained from the classical Metropolis-adjusted Langevin
algorithm.
- Abstract(参考訳): メトロポリス・ハスティングスのステップは、不確実な定量化において勾配に基づくマルコフ連鎖モンテカルロ法に広く用いられている。
バッチの受け入れ確率を計算することで、確率的メトロポリスハスティングステップは計算コストを節約するが、効果的なサンプルサイズを削減できる。
この障害を簡単な補正項で回避できることを示す。
補正された確率的メトロポリス・ハstingsアプローチがgibbs後方分布から非パラメトリック回帰設定でサンプルに適用された場合,チェーンの定常分布の統計的性質について検討した。
深層ニューラルネットワークの回帰に着目し, 最適収縮率をもたらすpac-bayes oracle不等式を証明し, 直径を解析し, 信頼性の高い集合の被覆率を示す。
高次元パラメータ空間における数値的な例で、確率的メトロポリス・ハスティングスアルゴリズムの信頼的な集合と収縮速度は、古典的なメトロポリス調整ランゲヴィンアルゴリズムから得られるものと同様の振る舞いを示す。
関連論文リスト
- Robust Stochastic Optimization via Gradient Quantile Clipping [1.90365714903665]
グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。
通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。
本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
論文 参考訳(メタデータ) (2023-09-29T15:24:48Z) - A Penalized Poisson Likelihood Approach to High-Dimensional
Semi-Parametric Inference for Doubly-Stochastic Point Processes [3.3732000156613635]
二重確率点過程は、ランダム強度関数で条件付けられた不均一過程として空間領域上の事象の発生をモデル化する。
二重確率点プロセスの実装は、計算的に要求され、しばしば理論上の保証が制限され、または制限的な仮定に依存している。
論文 参考訳(メタデータ) (2023-06-11T19:48:39Z) - Preferential Subsampling for Stochastic Gradient Langevin Dynamics [3.158346511479111]
勾配MCMCは、データの小さな一様重み付きサブサンプルを持つ対数姿勢の勾配をバイアスなく見積もっている。
得られた勾配推定器は、高いばらつきおよび衝撃サンプリング性能を示すことができる。
このような手法は,使用中の平均サブサンプルサイズを大幅に削減しつつ,同じレベルの精度を維持することができることを示す。
論文 参考訳(メタデータ) (2022-10-28T14:56:18Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳(メタデータ) (2022-10-03T06:09:01Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Random Forest Weighted Local Fr\'echet Regression with Random Objects [52.25304029942005]
本稿では,新しいランダム森林重み付き局所Fr'echet回帰パラダイムを提案する。
最初の方法は,これらの重みを局所平均として利用し,条件付きFr'echet平均を解く。
第二の手法は局所線形Fr'echet回帰を行い、どちらも既存のFr'echet回帰法を大幅に改善した。
論文 参考訳(メタデータ) (2022-02-10T09:10:59Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Decentralized Bayesian Learning with Metropolis-Adjusted Hamiltonian
Monte Carlo [15.20294178835262]
ランゲヴィン・ハミルトン法はランダム量の勾配を実現するのに有効であることを示す。
本稿では,定数ステップサイズ法をMetropolis-HMCに組み込むための最初のアプローチを提案する。
論文 参考訳(メタデータ) (2021-07-15T09:39:14Z) - Stochastic Learning for Sparse Discrete Markov Random Fields with
Controlled Gradient Approximation Error [10.381976180143328]
離散マルコフ確率場(MRF)に対する$L_$正規化極大推定器(MLE)問題について検討する。
これらの課題に対処するために、近位勾配(SPG)と呼ばれる検証可能な学習フレームワークを検討する。
勾配近似の品質を検査し、制御するための新しい検証可能な境界を提供する。
論文 参考訳(メタデータ) (2020-05-12T22:48:42Z) - Batch Stationary Distribution Estimation [98.18201132095066]
サンプル遷移の組を与えられたエルゴードマルコフ鎖の定常分布を近似する問題を考える。
与えられたデータに対する補正比関数の復元に基づく一貫した推定器を提案する。
論文 参考訳(メタデータ) (2020-03-02T09:10:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。