論文の概要: Bayesian Cramér-Rao Bound Estimation with Score-Based Models
- arxiv url: http://arxiv.org/abs/2309.16076v1
- Date: Thu, 28 Sep 2023 00:22:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 14:25:03.994924
- Title: Bayesian Cramér-Rao Bound Estimation with Score-Based Models
- Title(参考訳): スコアモデルによるベイジアン・クラメール・ラオ境界の推定
- Authors: Evan Scope Crafts, Xianyang Zhang, Bo Zhao,
- Abstract要約: ベイズクラム・ラオ境界(英語版)(英: Bayesian Cram'er-Rao bound, CRB)は、穏やかな規則性条件下での任意のベイズ推定子の誤差の低い境界を与える。
本研究は,統計量推定手法であるスコアマッチングを用いたCRBのための新しいデータ駆動推定器を開発する。
- 参考スコア(独自算出の注目度): 3.4480437706804503
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Bayesian Cram\'er-Rao bound (CRB) provides a lower bound on the error of any Bayesian estimator under mild regularity conditions. It can be used to benchmark the performance of estimators, and provides a principled design metric for guiding system design and optimization. However, the Bayesian CRB depends on the prior distribution, which is often unknown for many problems of interest. This work develops a new data-driven estimator for the Bayesian CRB using score matching, a statistical estimation technique, to model the prior distribution. The performance of the estimator is analyzed in both the classical parametric modeling regime and the neural network modeling regime. In both settings, we develop novel non-asymptotic bounds on the score matching error and our Bayesian CRB estimator. Our proofs build on results from empirical process theory, including classical bounds and recently introduced techniques for characterizing neural networks, to address the challenges of bounding the score matching error. The performance of the estimator is illustrated empirically on a denoising problem example with a Gaussian mixture prior.
- Abstract(参考訳): ベイジアンクラム・ラオ境界(英語版)(英: Bayesian Cram\'er-Rao bound, CRB)は、任意のベイジアン推定子の誤差の低い値を与える。
推定器の性能のベンチマークに使用することができ、システム設計と最適化の指針となる設計基準を提供する。
しかし、ベイジアン CRB は以前の分布に依存しており、多くの問題に対してしばしば未知である。
本研究は,ベイジアン CRB のための新しいデータ駆動推定器の開発である,統計的推定手法であるスコアマッチングを用いて,事前分布をモデル化する。
推定器の性能は古典的パラメトリックモデリングシステムとニューラルネットワークモデリングシステムの両方で分析される。
いずれの設定においても,スコアマッチング誤差とベイジアン CRB 推定器の非漸近境界を新たに構築する。
我々の証明は、古典的境界を含む経験的プロセス理論の結果に基づいており、最近ニューラルネットワークの特徴付け技術を導入し、スコアマッチングエラーのバウンディングの課題に対処している。
推定器の性能は、前述したガウス混合を用いたデノナイジング問題の例に実証的に説明される。
関連論文リスト
- A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Natural Bayesian Cram\'er-Rao Bound with an Application to Covariance
Estimation [53.28838377722963]
推定パラメータが多様体内にあり、先行分布に従う場合、新しいCram'er-Rao Bound (CRB) を開発する。
この導出は、幾何学的性質に基づく誤差基準とこの新しい境界との間の自然な不等式をもたらす。
論文 参考訳(メタデータ) (2023-11-08T15:17:13Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳(メタデータ) (2023-10-20T10:20:45Z) - Leveraging Variational Autoencoders for Parameterized MMSE Estimation [10.141454378473972]
条件付き線形最小二乗誤差推定器のパラメータ化のための変分オートエンコーダに基づくフレームワークを提案する。
導出した推定器は、推定問題の生成前として変分オートエンコーダを用いて最小平均2乗誤差推定器を近似する。
提案手法と最小平均二乗誤差推定器の差分を限定して厳密な解析を行う。
論文 参考訳(メタデータ) (2023-07-11T15:41:34Z) - Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。
崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。
提案手法は, スケーラビリティと精度のバランスをとる。
論文 参考訳(メタデータ) (2023-06-16T08:34:42Z) - Principled Pruning of Bayesian Neural Networks through Variational Free
Energy Minimization [2.3999111269325266]
ベイジアンニューラルネットワークの原理的プルーニングを行うためにベイジアンモデルレダクションを定式化し,適用する。
ベイズモデル削減に伴う問題を緩和するために, 新たな反復刈り込みアルゴリズムを提案する。
本実験は,最先端の刈り取り方式と比較して,優れたモデル性能を示す。
論文 参考訳(メタデータ) (2022-10-17T14:34:42Z) - Importance Weighting Approach in Kernel Bayes' Rule [43.221685127485735]
本研究では,特徴量を用いたベイズ計算における非パラメトリック手法について検討する。
ベイズ更新に関わる全ての量は観測データから学習され、この手法は完全にモデル無しである。
提案手法は重要度重み付けに基づいており,既存のKBR手法よりも優れた数値安定性が得られる。
論文 参考訳(メタデータ) (2022-02-05T03:06:59Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Evaluating State-of-the-Art Classification Models Against Bayes
Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。
われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文 参考訳(メタデータ) (2021-06-07T06:21:20Z) - Nonparametric Score Estimators [49.42469547970041]
未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。
正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。
カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
論文 参考訳(メタデータ) (2020-05-20T15:01:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。