論文の概要: Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods

• arxiv url: http://arxiv.org/abs/2401.16776v1
• Date: Tue, 30 Jan 2024 06:29:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 15:54:51.254116
• Title: Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods
• Title（参考訳）: Nested MLMC を用いた難治性症例の逐次神経後部評価
• Authors: Xiliang Yang, Yifei Xiong, Zhijian He
• Abstract要約: SNPE法は,難解な確率でシミュレーションベースモデルを扱うために提案される。 本稿では,ネスト予測を推定するためのネスト推定APT手法を提案する。 損失関数と勾配のネスト推定器は偏りがあるため,不偏のマルチレベルモンテカルロ推定器(MLMC)を用いる。
• 参考スコア（独自算出の注目度）: 0.8287206589886881
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential neural posterior estimation (SNPE) techniques have been recently proposed for dealing with simulation-based models with intractable likelihoods. They are devoted to learning the posterior from adaptively proposed simulations using neural network-based conditional density estimators. As a SNPE technique, the automatic posterior transformation (APT) method proposed by Greenberg et al. (2019) performs notably and scales to high dimensional data. However, the APT method bears the computation of an expectation of the logarithm of an intractable normalizing constant, i.e., a nested expectation. Although atomic APT was proposed to solve this by discretizing the normalizing constant, it remains challenging to analyze the convergence of learning. In this paper, we propose a nested APT method to estimate the involved nested expectation instead. This facilitates establishing the convergence analysis. Since the nested estimators for the loss function and its gradient are biased, we make use of unbiased multi-level Monte Carlo (MLMC) estimators for debiasing. To further reduce the excessive variance of the unbiased estimators, this paper also develops some truncated MLMC estimators by taking account of the trade-off between the bias and the average cost. Numerical experiments for approximating complex posteriors with multimodal in moderate dimensions are provided.
• Abstract（参考訳）: 逐次的神経後部推定(SNPE)技術は、難易度のあるシミュレーションベースモデルを扱うために最近提案されている。 それらはニューラルネットワークに基づく条件密度推定器を用いた適応的シミュレーションから後方を学習することに専念している。 SNPE法として、Greenbergらによって提案された自動後部変換(APT)法は、高次元データに対して顕著かつスケールする。 しかし、apt法は、難解な正規化定数、すなわちネストされた期待値の対数の期待値を計算できる。 原子APTは正規化定数を離散化することでこの問題を解決するために提案されたが、学習の収束を分析することは依然として困難である。 そこで本研究では,ネスト予測を推定するために,ネスト予測法を提案する。 これにより収束解析が確立される。 損失関数と勾配のネスト推定器は偏りがあるため,非偏りのマルチレベルモンテカルロ推定器(MLMC)を用いて偏りを推定する。 さらに,非バイアス推定器の過度なばらつきを軽減するために,バイアスと平均コストのトレードオフを考慮し,いくつかの乱れたMLMC推定器を開発する。 中等次元の多重モードで複雑な後部を近似するための数値実験が提供される。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
  動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。 提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。 以上の結果から、大規模アプリケーションでは、非バイアスアルゴリズムは「ゴールドスタンダード」なハミルトニアン・モンテカルロよりも2～3桁効率が良いことが示された。
  論文  参考訳（メタデータ） (2023-11-08T21:19:52Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Rapid Risk Minimization with Bayesian Models Through Deep Learning Approximation [9.93116974480156]
  本稿では,ベイズモデル (BM) とニューラルネットワーク (NN) を組み合わせて,予測を最小限のリスクで行う手法を提案する。 私たちのアプローチは、BMのデータ効率と解釈可能性とNNの速度を組み合わせます。 テストデータセットに無視できる損失がある標準手法よりも、リスク最小限の予測をはるかに高速に達成する。
  論文  参考訳（メタデータ） (2021-03-29T15:08:25Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Robust subgaussian estimation with VC-dimension [0.0]
  この研究は、MOM推定器の余剰リスクを束縛する新しい一般的な方法を提案する。 中心となる技術は、統計複雑性を測定するためにVC次元(ラデマッハの複雑さの代わりに)を用いることである。
  論文  参考訳（メタデータ） (2020-04-24T13:21:09Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Efficient Debiased Evidence Estimation by Multilevel Monte Carlo Sampling [0.0]
  ベイズ推論に基づくマルチレベルモンテカルロ法(MLMC)の最適化手法を提案する。 計算結果から,従来の推定値と比較すると,かなりの計算量の削減が確認できた。
  論文  参考訳（メタデータ） (2020-01-14T09:14:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。