論文の概要: Learned harmonic mean estimation of the marginal likelihood with normalizing flows

• arxiv url: http://arxiv.org/abs/2307.00048v1
• Date: Fri, 30 Jun 2023 18:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 18:21:40.614879
• Title: Learned harmonic mean estimation of the marginal likelihood with normalizing flows
• Title（参考訳）: 正規化流を伴う限界確率の学習調和平均推定
• Authors: Alicja Polanska, Matthew A. Price, Alessio Spurio Mancini, and Jason D. McEwen
• Abstract要約: 本稿では,サンプリング対象分布の重要度を表すために正規化フローを導入する。 学習されたハーモニック平均を実装するコードは公開されており、フローの正規化をサポートするように更新されている。
• 参考スコア（独自算出の注目度）: 4.789822624169501
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computing the marginal likelihood (also called the Bayesian model evidence) is an important task in Bayesian model selection, providing a principled quantitative way to compare models. The learned harmonic mean estimator solves the exploding variance problem of the original harmonic mean estimation of the marginal likelihood. The learned harmonic mean estimator learns an importance sampling target distribution that approximates the optimal distribution. While the approximation need not be highly accurate, it is critical that the probability mass of the learned distribution is contained within the posterior in order to avoid the exploding variance problem. In previous work a bespoke optimization problem is introduced when training models in order to ensure this property is satisfied. In the current article we introduce the use of normalizing flows to represent the importance sampling target distribution. A flow-based model is trained on samples from the posterior by maximum likelihood estimation. Then, the probability density of the flow is concentrated by lowering the variance of the base distribution, i.e. by lowering its "temperature", ensuring its probability mass is contained within the posterior. This approach avoids the need for a bespoke optimisation problem and careful fine tuning of parameters, resulting in a more robust method. Moreover, the use of normalizing flows has the potential to scale to high dimensional settings. We present preliminary experiments demonstrating the effectiveness of the use of flows for the learned harmonic mean estimator. The harmonic code implementing the learned harmonic mean, which is publicly available, has been updated to now support normalizing flows.
• Abstract（参考訳）: 限界確率の計算(ベイズモデルエビデンスとも呼ばれる)はベイズモデル選択において重要な課題であり、モデルを比較するための原理化された定量的方法を提供する。 学習した高調波平均推定器は、元の高調波平均推定の爆発分散問題を解く。 学習した調和平均推定器は、最適分布に近似する重要サンプリング目標分布を学習する。 近似は高精度である必要はないが、爆発する分散問題を避けるために学習分布の確率質量が後方に含まれていることは重要である。 前回の作業では、この特性を満足させるためのトレーニングモデルに特有な最適化問題が導入されている。 本稿では, サンプリング対象分布の重要度を表現するために, 正規化フローについて述べる。 流れに基づくモデルは、最大確率推定によって後方からのサンプルに基づいて訓練される。 すると、フローの確率密度は、ベース分布のばらつきを下げること、すなわち「温度」を下げることによって集中し、その確率質量が後部に含まれることを保証する。 このアプローチは,パラメータの厳密な微調整と異常な最適化の問題を回避するため,より堅牢な手法が提案される。 さらに、正規化フローの使用は、高次元設定にスケールする可能性がある。 本研究では,高調波平均推定器における流れの利用の有効性を示す予備実験を行った。 学習した調和平均を実装するハーモニックコードがアップデートされ、フローの正規化がサポートされた。

関連論文リスト

• Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
  本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
  論文  参考訳（メタデータ） (2024-07-11T19:58:19Z)
• Deep Evidential Learning for Bayesian Quantile Regression [3.6294895527930504]
  1つの決定論的フォワードパスモデルから正確な不確実性を推定することが望ましい。 本稿では,ガウス的仮定を使わずに連続目標分布の量子化を推定できるディープベイズ量子回帰モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-21T11:42:16Z)
• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Building Normalizing Flows with Stochastic Interpolants [11.22149158986164]
  一対の基底分布と対象分布の間の連続時間正規化フローに基づく単純な2次モデルを提案する。 この流れの速度場は、基地と目標の間を有限時間で補間する時間依存分布の確率電流から推定される。
  論文  参考訳（メタデータ） (2022-09-30T16:30:31Z)
• Normalizing Flows for Interventional Density Estimation [18.640006398066188]
  我々は、インターベンショナル正規化フローと呼ばれる、新しい完全にパラメトリックなディープラーニング手法を提案する。 2つの正規化フロー,すなわち (i) ニュアンスパラメータを推定するためのニュアンスフロー, (ii) 潜在結果の密度をパラメトリックに推定するターゲットフローを組み合わせる。
  論文  参考訳（メタデータ） (2022-09-13T17:56:13Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Composing Normalizing Flows for Inverse Problems [89.06155049265641]
  本稿では,2つの流れモデルの合成として,対象条件を推定する近似推論フレームワークを提案する。 本手法は,様々な逆問題に対して評価し,不確実性のある高品質な試料を作製することを示した。
  論文  参考訳（メタデータ） (2020-02-26T19:01:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。