論文の概要: Refining Amortized Posterior Approximations using Gradient-Based Summary Statistics

• arxiv url: http://arxiv.org/abs/2305.08733v1
• Date: Mon, 15 May 2023 15:47:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 13:57:06.761063
• Title: Refining Amortized Posterior Approximations using Gradient-Based Summary Statistics
• Title（参考訳）: グラディエントベース概要統計を用いた補修後近似
• Authors: Rafael Orozco, Ali Siahkoohi, Mathias Louboutin, Felix J. Herrmann
• Abstract要約: 逆問題の文脈における後部分布の補正近似を改善するための反復的枠組みを提案する。 そこで我々は,本手法をスタイリング問題に適用して制御条件で検証し,改良された後部近似を各繰り返しで観察する。
• 参考スコア（独自算出の注目度）: 0.9176056742068814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an iterative framework to improve the amortized approximations of posterior distributions in the context of Bayesian inverse problems, which is inspired by loop-unrolled gradient descent methods and is theoretically grounded in maximally informative summary statistics. Amortized variational inference is restricted by the expressive power of the chosen variational distribution and the availability of training data in the form of joint data and parameter samples, which often lead to approximation errors such as the amortization gap. To address this issue, we propose an iterative framework that refines the current amortized posterior approximation at each step. Our approach involves alternating between two steps: (1) constructing a training dataset consisting of pairs of summarized data residuals and parameters, where the summarized data residual is generated using a gradient-based summary statistic, and (2) training a conditional generative model -- a normalizing flow in our examples -- on this dataset to obtain a probabilistic update of the unknown parameter. This procedure leads to iterative refinement of the amortized posterior approximations without the need for extra training data. We validate our method in a controlled setting by applying it to a stylized problem, and observe improved posterior approximations with each iteration. Additionally, we showcase the capability of our method in tackling realistically sized problems by applying it to transcranial ultrasound, a high-dimensional, nonlinear inverse problem governed by wave physics, and observe enhanced posterior quality through better image reconstruction with the posterior mean.
• Abstract（参考訳）: 本稿では,ループ展開勾配降下法に触発されたベイズ逆問題の文脈における後続分布の漸近近似を改善するための反復的枠組みを提案する。 償却変分推論は、選択された変分分布の表現力と、合同データとパラメータサンプルの形式でのトレーニングデータの可用性によって制限され、償却ギャップのような近似誤差につながることが多い。 この問題に対処するために、各ステップにおける現在の補正後近似を洗練する反復的フレームワークを提案する。 本手法は,(1)グラデーションに基づく要約統計を用いて要約データ残差が生成されるデータ残差とパラメータのペアからなるトレーニングデータセットの構築,(2)このデータセット上で条件付き生成モデル -- 正規化フロー -- をトレーニングし,未知パラメータの確率的更新を得るという2つのステップを交互に実施する。 この手順は、余分なトレーニングデータを必要とせずに、償却後の近似を反復的に洗練させる。 本手法を定型化問題に適用し,制御条件下で検証し,各イテレーションにおける後方近似の改善を観察した。 さらに, 波動物理学による高次元非線形逆問題である経頭蓋超音波に適用し, 後方平均による画像再構成により, 後方品質の向上を観測することで, 実物大問題に取り組む手法の有用性を示す。

関連論文リスト

• Progression: an extrapolation principle for regression [0.0]
  本稿では,新しい統計外挿原理を提案する。 これは、予測器とトレーニング予測器のサンプルの境界における応答との単純な関係を仮定する。 我々の半パラメトリック法である進行法は、この外挿原理を活用し、トレーニングデータ範囲を超えた近似誤差の保証を提供する。
  論文  参考訳（メタデータ） (2024-10-30T17:29:51Z)
• Diffusion Prior-Based Amortized Variational Inference for Noisy Inverse Problems [12.482127049881026]
  そこで本稿では, 償却変分推論の観点から, 拡散による逆問題の解法を提案する。 我々の償却推論は、測定結果を対応するクリーンデータの暗黙の後方分布に直接マッピングする関数を学習し、未知の計測でも単一ステップの後方サンプリングを可能にする。
  論文  参考訳（メタデータ） (2024-07-23T02:14:18Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Shuffled linear regression through graduated convex relaxation [12.614901374282868]
  シャッフル線形回帰問題は、入力と出力の対応が不明なデータセットにおける線形関係を復元することを目的としている。 この問題は、調査データを含む広範囲のアプリケーションで発生する。 後最大化目的関数に基づく線形回帰をシャッフルする新しい最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:48Z)
• Density Estimation with Autoregressive Bayesian Predictives [1.5771347525430772]
  密度推定の文脈では、標準的なベイズ的アプローチは、後方予測をターゲットとする。 我々は、データを潜在空間にマッピングする自己回帰ニューラルネットワークを用いて、帯域幅の新たなパラメータ化を開発する。
  論文  参考訳（メタデータ） (2022-06-13T20:43:39Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。