論文の概要: Reliable amortized variational inference with physics-based latent distribution correction

• arxiv url: http://arxiv.org/abs/2207.11640v1
• Date: Sun, 24 Jul 2022 02:38:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 13:55:13.815697
• Title: Reliable amortized variational inference with physics-based latent distribution correction
• Title（参考訳）: 物理に基づく潜在分布補正を用いた不定形変分推論
• Authors: Ali Siahkoohi and Gabrio Rizzuti and Rafael Orozco and Felix J. Herrmann
• Abstract要約: ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。 このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。 補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
• 参考スコア（独自算出の注目度）: 0.4588028371034407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian inference for high-dimensional inverse problems is challenged by the computational costs of the forward operator and the selection of an appropriate prior distribution. Amortized variational inference addresses these challenges where a neural network is trained to approximate the posterior distribution over existing pairs of model and data. When fed previously unseen data and normally distributed latent samples as input, the pretrained deep neural network -- in our case a conditional normalizing flow -- provides posterior samples with virtually no cost. However, the accuracy of this approach relies on the availability of high-fidelity training data, which seldom exists in geophysical inverse problems due to the heterogeneous structure of the Earth. In addition, accurate amortized variational inference requires the observed data to be drawn from the training data distribution. As such, we propose to increase the resilience of amortized variational inference when faced with data distribution shift via a physics-based correction to the conditional normalizing flow latent distribution. To accomplish this, instead of a standard Gaussian latent distribution, we parameterize the latent distribution by a Gaussian distribution with an unknown mean and diagonal covariance. These unknown quantities are then estimated by minimizing the Kullback-Leibler divergence between the corrected and true posterior distributions. While generic and applicable to other inverse problems, by means of a seismic imaging example, we show that our correction step improves the robustness of amortized variational inference with respect to changes in number of source experiments, noise variance, and shifts in the prior distribution. This approach provides a seismic image with limited artifacts and an assessment of its uncertainty with approximately the same cost as five reverse-time migrations.
• Abstract（参考訳）: 高次元逆問題に対するベイズ推論は、フォワード演算子の計算コストと適切な事前分布の選択によって挑戦される。 amortized variational inferenceは、ニューラルネットワークが既存のモデルとデータペアの後方分布を近似するように訓練される、これらの課題に対処する。 未確認のデータと通常分散された潜伏サンプルを入力として供給すると、事前訓練されたディープニューラルネットワーク -- 条件付き正規化フロー -- は、ほとんどコストがかからない後部サンプルを提供する。 しかし、このアプローチの正確性は、地球の不均一構造による地球物理学的逆問題にはほとんど存在しない高忠実度トレーニングデータの可用性に依存する。 さらに、正確な補正変分推論では、トレーニングデータ分布から観測データを引き出す必要がある。 そこで本研究では,条件付き正規化フロー潜在分布に対する物理に基づく補正により,データ分布シフトに直面した場合の不定形変分推論のレジリエンスを高めることを提案する。 これを達成するために、標準ガウスの潜伏分布の代わりに、未知の平均と対角共分散を持つガウス分布により潜伏分布をパラメータ化する。 これらの未知の量は、補正された後方分布と真の後方分布の間のkullback-leiblerの発散を最小化することによって推定される。 他の逆問題にも汎用的に適用できるが, 地震イメージングの例を用いて, 補正ステップにより, 音源実験数, 雑音分散, 事前分布の変動について, 償却変分推論のロバスト性が向上することを示す。 このアプローチは, 限られたアーティファクトを持つ地震像と, 5回の逆時間移動とほぼ同じコストで不確実性を評価する。

関連論文リスト

• Stochastic full waveform inversion with deep generative prior for uncertainty quantification [0.0]
  フルウェーブフォーム・インバージョン(FWI)は非線形でしばしば不均一な逆問題を解決する。 FWIは、局所的なミニマトラップや不確実性の不十分な処理といった課題を提示している。 本研究では,ベイジアン逆転に対する物理パラメータの事前分布として,深部生成モデルを活用することを提案する。
  論文  参考訳（メタデータ） (2024-06-07T11:44:50Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
  本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。 提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
  論文  参考訳（メタデータ） (2024-02-13T09:40:19Z)
• Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
  本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。 センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
  論文  参考訳（メタデータ） (2023-09-05T22:33:02Z)
• On the detrimental effect of invariances in the likelihood for variational inference [21.912271882110986]
  変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。 これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
  論文  参考訳（メタデータ） (2022-09-15T09:13:30Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Empirical Strategy for Stretching Probability Distribution in Neural-network-based Regression [5.35308390309106]
  ニューラルネットワーク下での回帰解析では、予測性能は層間の適切な重み決定に依存する。 両分布の重み付け面積を増大させる新しい損失関数として重み付き経験的ストレッチ(WES)を提案する。 極端な領域に対するRMSEの改良結果は、非線形複雑系における異常事象の予測に利用されることが期待されている。
  論文  参考訳（メタデータ） (2020-09-08T06:08:14Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。