論文の概要: Statistical guarantees for stochastic Metropolis-Hastings

• arxiv url: http://arxiv.org/abs/2310.09335v1
• Date: Fri, 13 Oct 2023 18:00:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 22:37:18.012363
• Title: Statistical guarantees for stochastic Metropolis-Hastings
• Title（参考訳）: 確率的メトロポリス・ハスティングの統計的保証
• Authors: Sebastian Bieringer, Gregor Kasieczka, Maximilian F. Steffen and Mathias Trabs
• Abstract要約: バッチ上での受け入れ確率を計算することで、Metropolis-Hastingsステップは計算コストを削減できるが、有効なサンプルサイズを削減できる。 この障害を簡単な補正項で回避できることを示す。 我々は、メトロポリス・ハスティングス・アルゴリズムが、古典的なメトロポリス調整ランゲヴィン・アルゴリズムから得られるものと同様の挙動を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Metropolis-Hastings step is widely used for gradient-based Markov chain Monte Carlo methods in uncertainty quantification. By calculating acceptance probabilities on batches, a stochastic Metropolis-Hastings step saves computational costs, but reduces the effective sample size. We show that this obstacle can be avoided by a simple correction term. We study statistical properties of the resulting stationary distribution of the chain if the corrected stochastic Metropolis-Hastings approach is applied to sample from a Gibbs posterior distribution in a nonparametric regression setting. Focusing on deep neural network regression, we prove a PAC-Bayes oracle inequality which yields optimal contraction rates and we analyze the diameter and show high coverage probability of the resulting credible sets. With a numerical example in a high-dimensional parameter space, we illustrate that credible sets and contraction rates of the stochastic Metropolis-Hastings algorithm indeed behave similar to those obtained from the classical Metropolis-adjusted Langevin algorithm.
• Abstract（参考訳）: メトロポリス・ハスティングスのステップは、不確実な定量化において勾配に基づくマルコフ連鎖モンテカルロ法に広く用いられている。 バッチの受け入れ確率を計算することで、確率的メトロポリスハスティングステップは計算コストを節約するが、効果的なサンプルサイズを削減できる。 この障害を簡単な補正項で回避できることを示す。 補正された確率的メトロポリス・ハstingsアプローチがgibbs後方分布から非パラメトリック回帰設定でサンプルに適用された場合,チェーンの定常分布の統計的性質について検討した。 深層ニューラルネットワークの回帰に着目し, 最適収縮率をもたらすpac-bayes oracle不等式を証明し, 直径を解析し, 信頼性の高い集合の被覆率を示す。 高次元パラメータ空間における数値的な例で、確率的メトロポリス・ハスティングスアルゴリズムの信頼的な集合と収縮速度は、古典的なメトロポリス調整ランゲヴィンアルゴリズムから得られるものと同様の振る舞いを示す。

関連論文リスト

• Constrained Sampling with Primal-Dual Langevin Monte Carlo [15.634831573546041]
  この研究は、正規化定数まで既知の確率分布からサンプリングする問題を考察する。 一般非線形関数の期待値によって定義された統計的制約の集合を満たす。 我々は,目標分布とサンプルを同時に制約する離散時間原始二元Langevin Monte Carloアルゴリズム(PD-LMC)を提唱した。
  論文  参考訳（メタデータ） (2024-11-01T13:26:13Z)
• NETS: A Non-Equilibrium Transport Sampler [15.58993313831079]
  我々は、Non-Equilibrium Transport Sampler (NETS)と呼ばれるアルゴリズムを提案する。 NETSはJarzynskiの平等に基づいて、重要サンプリング(AIS)の亜種と見なすことができる。 このドリフトは、様々な目的関数の最小化であり、全て偏りのない方法で推定できることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:35:38Z)
• A sparse PAC-Bayesian approach for high-dimensional quantile prediction [0.0]
  本稿では,高次元量子化予測のための確率論的機械学習手法を提案する。 擬似ベイズ的フレームワークとスケールした学生tとランゲヴィン・モンテカルロを併用して効率的な計算を行う。 その効果はシミュレーションや実世界のデータを通じて検証され、そこでは確立された頻繁な手法やベイズ的手法と競合する。
  論文  参考訳（メタデータ） (2024-09-03T08:01:01Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Semi-Parametric Inference for Doubly Stochastic Spatial Point Processes: An Approximate Penalized Poisson Likelihood Approach [3.085995273374333]
  二重確率点過程は、ランダム強度関数の実現を前提とした不均一過程として空間領域上の事象の発生をモデル化する。 既存の二重確率空間モデルの実装は、計算的に要求され、しばしば理論的な保証が制限され、または制限的な仮定に依存している。
  論文  参考訳（メタデータ） (2023-06-11T19:48:39Z)
• Preferential Subsampling for Stochastic Gradient Langevin Dynamics [3.158346511479111]
  勾配MCMCは、データの小さな一様重み付きサブサンプルを持つ対数姿勢の勾配をバイアスなく見積もっている。 得られた勾配推定器は、高いばらつきおよび衝撃サンプリング性能を示すことができる。 このような手法は,使用中の平均サブサンプルサイズを大幅に削減しつつ,同じレベルの精度を維持することができることを示す。
  論文  参考訳（メタデータ） (2022-10-28T14:56:18Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Batch Stationary Distribution Estimation [98.18201132095066]
  サンプル遷移の組を与えられたエルゴードマルコフ鎖の定常分布を近似する問題を考える。 与えられたデータに対する補正比関数の復元に基づく一貫した推定器を提案する。
  論文  参考訳（メタデータ） (2020-03-02T09:10:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。