論文の概要: Bayesian Cramér-Rao Bound Estimation with Score-Based Models

• arxiv url: http://arxiv.org/abs/2309.16076v2
• Date: Tue, 3 Sep 2024 21:55:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 04:41:34.290070
• Title: Bayesian Cramér-Rao Bound Estimation with Score-Based Models
• Title（参考訳）: スコアモデルによるベイジアン・クラメール・ラオ境界の推定
• Authors: Evan Scope Crafts, Xianyang Zhang, Bo Zhao,
• Abstract要約: ベイジアンクラム・ラオ境界(英語版)(英: Bayesian Cram'er-Rao bound, CRB)は、任意のベイジアン推定器の平均二乗誤差に対する下界を与える。 本研究は,スコアマッチングを用いたCRBのための新しいデータ駆動推定手法を提案する。
• 参考スコア（独自算出の注目度）: 3.4480437706804503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Bayesian Cram\'er-Rao bound (CRB) provides a lower bound on the mean square error of any Bayesian estimator under mild regularity conditions. It can be used to benchmark the performance of statistical estimators, and provides a principled metric for system design and optimization. However, the Bayesian CRB depends on the underlying prior distribution, which is often unknown for many problems of interest. This work introduces a new data-driven estimator for the Bayesian CRB using score matching, i.e., a statistical estimation technique that models the gradient of a probability distribution from a given set of training data. The performance of the proposed estimator is analyzed in both the classical parametric modeling regime and the neural network modeling regime. In both settings, we develop novel non-asymptotic bounds on the score matching error and our Bayesian CRB estimator based on the results from empirical process theory, including classical bounds and recently introduced techniques for characterizing neural networks. We illustrate the performance of the proposed estimator with two application examples: a signal denoising problem and a dynamic phase offset estimation problem in communication systems.
• Abstract（参考訳）: ベイズクラム・ラオ境界(英語版)(英: Bayesian Cram\'er-Rao bound, CRB)は、任意のベイズ推定器の平均二乗誤差に対して、穏やかな規則性条件下での下界を与える。 統計推定器の性能のベンチマークに使用することができ、システム設計と最適化のための原則化された指標を提供する。 しかし、ベイジアン CRB は基礎となる事前分布に依存しており、多くの問題に対してしばしば未知である。 本研究は,ベイジアン CRB のスコアマッチングを用いた新しいデータ駆動推定手法,すなわち与えられたトレーニングデータから確率分布の勾配をモデル化する統計的推定手法を導入する。 提案した推定器の性能は,古典的パラメトリック・モデリング・レジームとニューラルネットワーク・モデリング・レジームの両方で解析される。 いずれの設定においても,古典的境界を含む経験的プロセス理論の結果に基づいて,スコアマッチング誤差とベイジアン CRB 推定器の新たな非漸近境界を開発し,最近ニューラルネットワークのキャラクタリゼーション技術を導入した。 提案した推定器の性能を2つの応用例で説明する: 通信システムにおける信号分解問題と動的位相オフセット推定問題である。

関連論文リスト

• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Leveraging Variational Autoencoders for Parameterized MMSE Estimation [10.141454378473972]
  条件付き線形最小二乗誤差推定器のパラメータ化のための変分オートエンコーダに基づくフレームワークを提案する。 導出した推定器は、推定問題の生成前として変分オートエンコーダを用いて最小平均2乗誤差推定器を近似する。 提案手法と最小平均二乗誤差推定器の差分を限定して厳密な解析を行う。
  論文  参考訳（メタデータ） (2023-07-11T15:41:34Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Principled Pruning of Bayesian Neural Networks through Variational Free Energy Minimization [2.3999111269325266]
  ベイジアンニューラルネットワークの原理的プルーニングを行うためにベイジアンモデルレダクションを定式化し,適用する。 ベイズモデル削減に伴う問題を緩和するために, 新たな反復刈り込みアルゴリズムを提案する。 本実験は,最先端の刈り取り方式と比較して,優れたモデル性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:34:42Z)
• Importance Weighting Approach in Kernel Bayes' Rule [43.221685127485735]
  本研究では,特徴量を用いたベイズ計算における非パラメトリック手法について検討する。 ベイズ更新に関わる全ての量は観測データから学習され、この手法は完全にモデル無しである。 提案手法は重要度重み付けに基づいており,既存のKBR手法よりも優れた数値安定性が得られる。
  論文  参考訳（メタデータ） (2022-02-05T03:06:59Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Learning Minimax Estimators via Online Learning [55.92459567732491]
  確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。 混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
  論文  参考訳（メタデータ） (2020-06-19T22:49:42Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。