論文の概要: Bounding Wasserstein distance with couplings
- arxiv url: http://arxiv.org/abs/2112.03152v1
- Date: Mon, 6 Dec 2021 16:38:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 19:50:56.208288
- Title: Bounding Wasserstein distance with couplings
- Title（参考訳）: カップリングを伴うバウンディングワッサースタイン距離
- Authors: Niloy Biswas and Lester Mackey
- Abstract要約: 本稿ではマルコフ連鎖のカップリングに基づく推定器を提案し,そのような偏りのあるサンプリング手法の品質を評価する。
我々の推定器は高次元において有効であることを示す。
- 参考スコア（独自算出の注目度）: 22.412390167991497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Markov chain Monte Carlo (MCMC) provides asymptotically consistent estimates
of intractable posterior expectations as the number of iterations tends to
infinity. However, in large data applications, MCMC can be computationally
expensive per iteration. This has catalyzed interest in sampling methods such
as approximate MCMC, which trade off asymptotic consistency for improved
computational speed. In this article, we propose estimators based on couplings
of Markov chains to assess the quality of such asymptotically biased sampling
methods. The estimators give empirical upper bounds of the Wassertein distance
between the limiting distribution of the asymptotically biased sampling method
and the original target distribution of interest. We establish theoretical
guarantees for our upper bounds and show that our estimators can remain
effective in high dimensions. We apply our quality measures to stochastic
gradient MCMC, variational Bayes, and Laplace approximations for tall data and
to approximate MCMC for Bayesian logistic regression in 4500 dimensions and
Bayesian linear regression in 50000 dimensions.
- Abstract（参考訳）: マルコフ連鎖モンテカルロ (mcmc) は、反復数が無限になりがちであるため、難解な後方期待の漸近的に一貫した推定を提供する。
しかし、大規模なデータアプリケーションでは、MCMCは反復ごとに計算コストがかかる。
これは、計算速度の向上のために漸近的整合性をトレードオフする近似MCMCのようなサンプリング手法への関心を喚起した。
本稿では,マルコフ連鎖のカップリングに基づく推定器を提案する。
推定器は, 漸近偏差サンプリング法の限界分布と, 関心の本来の目標分布との間に, ワッサーテイン距離の実験的上限を与える。
我々は,上界の理論的保証を確立し,高次元における推定値の有効性を示す。
我々は,高次データに対する確率的勾配mcmc,変分ベイズ,ラプラス近似,および4500次元のベイズロジスティック回帰と50000次元のベイズ線形回帰に対する近似mcmcに対して品質尺度を適用する。
関連論文リスト
- A sparse PAC-Bayesian approach for high-dimensional quantile prediction [0.0]
本稿では,高次元量子化予測のための確率論的機械学習手法を提案する。
擬似ベイズ的フレームワークとスケールした学生tとランゲヴィン・モンテカルロを併用して効率的な計算を行う。
その効果はシミュレーションや実世界のデータを通じて検証され、そこでは確立された頻繁な手法やベイズ的手法と競合する。
論文 参考訳（メタデータ） (2024-09-03T08:01:01Z) - Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。
提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。
以上の結果から、大規模アプリケーションでは、非バイアスアルゴリズムは「ゴールドスタンダード」なハミルトニアン・モンテカルロよりも2～3桁効率が良いことが示された。
論文 参考訳（メタデータ） (2023-11-08T21:19:52Z) - Statistical guarantees for stochastic Metropolis-Hastings [0.0]
バッチ上での受け入れ確率を計算することで、Metropolis-Hastingsステップは計算コストを削減できるが、有効なサンプルサイズを削減できる。
この障害を簡単な補正項で回避できることを示す。
我々は、メトロポリス・ハスティングス・アルゴリズムが、古典的なメトロポリス調整ランゲヴィン・アルゴリズムから得られるものと同様の挙動を示す。
論文 参考訳（メタデータ） (2023-10-13T18:00:26Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Asymptotic bias of inexact Markov Chain Monte Carlo methods in high
dimension [0.7614628596146599]
例えば、未調整ランゲヴィン (ULA) や非調整ハミルトンモンテカルロ (uHMC) がある。
ULA と uHMC の双方に対して、このバイアスは、目標分布またはスキームの定常確率測定に関連する鍵量に依存することを示す。
論文 参考訳（メタデータ） (2021-08-02T07:34:09Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。
我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
論文 参考訳（メタデータ） (2020-10-03T16:22:15Z) - $\gamma$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a
Robust Divergence Estimator [95.71091446753414]
最寄りの$gamma$-divergence推定器をデータ差分尺度として用いることを提案する。
本手法は既存の不一致対策よりも高いロバスト性を実現する。
論文 参考訳（メタデータ） (2020-06-13T06:09:27Z) - Batch Stationary Distribution Estimation [98.18201132095066]
サンプル遷移の組を与えられたエルゴードマルコフ鎖の定常分布を近似する問題を考える。
与えられたデータに対する補正比関数の復元に基づく一貫した推定器を提案する。
論文 参考訳（メタデータ） (2020-03-02T09:10:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。