論文の概要: Expected Information Gain Estimation via Density Approximations: Sample Allocation and Dimension Reduction

• arxiv url: http://arxiv.org/abs/2411.08390v1
• Date: Wed, 13 Nov 2024 07:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:33.391975
• Title: Expected Information Gain Estimation via Density Approximations: Sample Allocation and Dimension Reduction
• Title（参考訳）: 密度近似による期待情報ゲイン推定:サンプル配置と次元削減
• Authors: Fengyi Li, Ricardo Baptista, Youssef Marzouk,
• Abstract要約: 一般非線形/非ガウス的設定におけるEIG推定のためのフレキシブルトランスポートに基づくスキームを定式化する。 この最適サンプル割り当てにより、得られたEIG推定器のMSEは標準ネストされたモンテカルロスキームよりも高速に収束することを示す。 次に、パラメータを投影し、低次元部分空間に観測することで失われる相互情報の勾配に基づく上界を導出することにより、高次元でのEIGの推定に対処する。
• 参考スコア（独自算出の注目度）: 0.40964539027092906
• License:
• Abstract: Computing expected information gain (EIG) from prior to posterior (equivalently, mutual information between candidate observations and model parameters or other quantities of interest) is a fundamental challenge in Bayesian optimal experimental design. We formulate flexible transport-based schemes for EIG estimation in general nonlinear/non-Gaussian settings, compatible with both standard and implicit Bayesian models. These schemes are representative of two-stage methods for estimating or bounding EIG using marginal and conditional density estimates. In this setting, we analyze the optimal allocation of samples between training (density estimation) and approximation of the outer prior expectation. We show that with this optimal sample allocation, the MSE of the resulting EIG estimator converges more quickly than that of a standard nested Monte Carlo scheme. We then address the estimation of EIG in high dimensions, by deriving gradient-based upper bounds on the mutual information lost by projecting the parameters and/or observations to lower-dimensional subspaces. Minimizing these upper bounds yields projectors and hence low-dimensional EIG approximations that outperform approximations obtained via other linear dimension reduction schemes. Numerical experiments on a PDE-constrained Bayesian inverse problem also illustrate a favorable trade-off between dimension truncation and the modeling of non-Gaussianity, when estimating EIG from finite samples in high dimensions.
• Abstract（参考訳）: 計算期待情報ゲイン(EIG)は、ベイズ最適化実験設計における基本的な課題である。 我々は、一般的な非線形/非ガウス的設定において、EIG推定のための柔軟な輸送に基づくスキームを定式化し、標準ベイズモデルと暗黙ベイズモデルの両方と互換性がある。 これらのスキームは、限界密度と条件密度の推定を用いてEIGを推定または有界化するための2段階の手法の代表である。 この設定では,トレーニング(密度推定)と外部予測の近似の間のサンプルの最適割り当てを解析する。 この最適サンプル割り当てにより、得られたEIG推定器のMSEは標準ネストされたモンテカルロスキームよりも高速に収束することを示す。 次に、パラメータを投影し、低次元部分空間に観測することで失われる相互情報の勾配に基づく上界を導出することにより、高次元でのEIGの推定に対処する。 これらの上限を最小化するとプロジェクターが得られ、したがって他の線形次元還元スキームによって得られる近似よりも優れた低次元のEIG近似が得られる。 PDE制約のベイズ逆問題に関する数値実験は、高次元の有限標本からEIGを推定する際に、次元の切り離しと非ガウス性のモデリングとの良好なトレードオフを示す。

関連論文リスト

• Quasi-Bayes meets Vines [2.3124143670964448]
  我々は、スクラーの定理を用いて、準ベイズ予想を高次元に拡張する別の方法を提案する。 提案した準ベイジアンVine (QB-Vine) は完全に非パラメトリックな密度推定器であることを示す。
  論文  参考訳（メタデータ） (2024-06-18T16:31:02Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Variational Bayesian Optimal Experimental Design with Normalizing Flows [0.837622912636323]
  変分OEDは、可能性評価なしでEIGの下位境界を推定する。 本稿では,vOEDにおける変分分布を表現するための正規化フローについて紹介する。 その結果,4〜5層の合成により,より低いEIG推定バイアスが得られることがわかった。
  論文  参考訳（メタデータ） (2024-04-08T14:44:21Z)
• Goal-Oriented Bayesian Optimal Experimental Design for Nonlinear Models using Markov Chain Monte Carlo [0.0]
  本稿では,非線形観測および予測モデルに適した予測目標指向OED(GO-OED)の計算フレームワークを提案する。 GO-OEDはQoIで最大のEIGを提供する実験的な設計を求めている。 非線形GO-OED法の有効性を実証し,従来の非GO-OED法と比較した。
  論文  参考訳（メタデータ） (2024-03-26T19:49:58Z)
• Scalable method for Bayesian experimental design without integrating over posterior distribution [0.0]
  実験問題のA-最適ベイズ設計における計算効率について検討する。 A-最適性はベイズの実験設計に広く用いられ、容易に解釈できる基準である。 本研究は, A-Optimal 実験設計における新しい可能性のないアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:40:43Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Robust Expected Information Gain for Optimal Bayesian Experimental Design Using Ambiguity Sets [0.0]
  我々は、経験的期待情報ゲイン(REIG)を定義し、分析する。 REIGは、摂動分布のあいまいな集合上でのEIGのアフィン緩和を最小化することにより、EIGの目的を変更したものである。 EIGを推定するためのサンプリングベースアプローチと組み合わせると、REIGはEIGを推定するのに使用するサンプルの対数-sum-expの安定化に対応することを示す。
  論文  参考訳（メタデータ） (2022-05-20T01:07:41Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
  我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
  論文  参考訳（メタデータ） (2020-05-03T00:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。