論文の概要: The surrogate Gibbs-posterior of a corrected stochastic MALA: Towards uncertainty quantification for neural networks

• arxiv url: http://arxiv.org/abs/2310.09335v2
• Date: Thu, 03 Jul 2025 18:00:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 22:02:54.949471
• Title: The surrogate Gibbs-posterior of a corrected stochastic MALA: Towards uncertainty quantification for neural networks
• Title（参考訳）: 修正確率MALAのサロゲートGibs-posterior : ニューラルネットワークの不確実性定量化に向けて
• Authors: Sebastian Bieringer, Gregor Kasieczka, Maximilian F. Steffen, Mathias Trabs,
• Abstract要約: 我々は,サロゲート後部と元のギブス後部の距離が拡張性を維持しながら全サンプルサイズを小さくする簡単な補正項を持つ補正MALA(csMALA)を導入する。 我々の信頼性は補正とは無関係であり、標準ギブスポストにも適用できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: MALA is a popular gradient-based Markov chain Monte Carlo method to access the Gibbs-posterior distribution. Stochastic MALA (sMALA) scales to large data sets, but changes the target distribution from the Gibbs-posterior to a surrogate posterior which only exploits a reduced sample size. We introduce a corrected stochastic MALA (csMALA) with a simple correction term for which distance between the resulting surrogate posterior and the original Gibbs-posterior decreases in the full sample size while retaining scalability. In a nonparametric regression model, we prove a PAC-Bayes oracle inequality for the surrogate posterior. Uncertainties can be quantified by sampling from the surrogate posterior. Focusing on Bayesian neural networks, we analyze the diameter and coverage of credible balls for shallow neural networks and we show optimal contraction rates for deep neural networks. Our credibility result is independent of the correction and can also be applied to the standard Gibbs-posterior. A simulation study in a high-dimensional parameter space demonstrates that an estimator drawn from csMALA based on its surrogate Gibbs-posterior indeed exhibits these advantages in practice.
• Abstract（参考訳）: MALAは、Gibs-posterior distributionにアクセスするための、一般的な勾配に基づくマルコフ連鎖モンテカルロ法である。 Stochastic MALA (sMALA) は、大規模なデータセットにスケールするが、ターゲットの分布をギブス後部からサロゲート後部に変更する。 そこで我々は,サロゲート後部と元のギブス後部の距離が,拡張性を維持しながら全サンプルサイズを減少させる簡単な補正項を持つ補正確率MALA(csMALA)を導入する。 非パラメトリック回帰モデルでは、サロゲート後部におけるPAC-Bayesオラクルの不等式が証明される。 不確かさは、サロゲート後部からのサンプリングによって定量することができる。 ベイズニューラルネットワークに着目して,浅層ニューラルネットワークにおける信頼球の直径とカバレッジを分析し,深部ニューラルネットワークに対する最適収縮率を示す。 我々の信頼性は補正とは無関係であり、標準ギブスポストにも適用できる。 高次元パラメータ空間におけるシミュレーション研究により、csMALAから引き出された推定器は、実際にこれらの利点を示すことが示された。

関連論文リスト

• Constrained Sampling with Primal-Dual Langevin Monte Carlo [15.634831573546041]
  この研究は、正規化定数まで既知の確率分布からサンプリングする問題を考察する。 一般非線形関数の期待値によって定義された統計的制約の集合を満たす。 我々は,目標分布とサンプルを同時に制約する離散時間原始二元Langevin Monte Carloアルゴリズム(PD-LMC)を提唱した。
  論文  参考訳（メタデータ） (2024-11-01T13:26:13Z)
• NETS: A Non-Equilibrium Transport Sampler [15.58993313831079]
  我々は、Non-Equilibrium Transport Sampler (NETS)と呼ばれるアルゴリズムを提案する。 NETSはJarzynskiの平等に基づいて、重要サンプリング(AIS)の亜種と見なすことができる。 このドリフトは、様々な目的関数の最小化であり、全て偏りのない方法で推定できることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:35:38Z)
• A sparse PAC-Bayesian approach for high-dimensional quantile prediction [0.0]
  本稿では,高次元量子化予測のための確率論的機械学習手法を提案する。 擬似ベイズ的フレームワークとスケールした学生tとランゲヴィン・モンテカルロを併用して効率的な計算を行う。 その効果はシミュレーションや実世界のデータを通じて検証され、そこでは確立された頻繁な手法やベイズ的手法と競合する。
  論文  参考訳（メタデータ） (2024-09-03T08:01:01Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Semi-Parametric Inference for Doubly Stochastic Spatial Point Processes: An Approximate Penalized Poisson Likelihood Approach [3.085995273374333]
  二重確率点過程は、ランダム強度関数の実現を前提とした不均一過程として空間領域上の事象の発生をモデル化する。 既存の二重確率空間モデルの実装は、計算的に要求され、しばしば理論的な保証が制限され、または制限的な仮定に依存している。
  論文  参考訳（メタデータ） (2023-06-11T19:48:39Z)
• Preferential Subsampling for Stochastic Gradient Langevin Dynamics [3.158346511479111]
  勾配MCMCは、データの小さな一様重み付きサブサンプルを持つ対数姿勢の勾配をバイアスなく見積もっている。 得られた勾配推定器は、高いばらつきおよび衝撃サンプリング性能を示すことができる。 このような手法は,使用中の平均サブサンプルサイズを大幅に削減しつつ,同じレベルの精度を維持することができることを示す。
  論文  参考訳（メタデータ） (2022-10-28T14:56:18Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Batch Stationary Distribution Estimation [98.18201132095066]
  サンプル遷移の組を与えられたエルゴードマルコフ鎖の定常分布を近似する問題を考える。 与えられたデータに対する補正比関数の復元に基づく一貫した推定器を提案する。
  論文  参考訳（メタデータ） (2020-03-02T09:10:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。