論文の概要: Adversarial robustness of amortized Bayesian inference

• arxiv url: http://arxiv.org/abs/2305.14984v1
• Date: Wed, 24 May 2023 10:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 17:15:43.272770
• Title: Adversarial robustness of amortized Bayesian inference
• Title（参考訳）: amortized bayesian inferenceの逆ロバスト性
• Authors: Manuel Gl\"ockler, Michael Deistler, Jakob H. Macke
• Abstract要約: 償却ベイズ推論は、当初シミュレーションデータ上の推論ネットワークのトレーニングに計算コストを投資することを目的としている。 観測対象のほとんど認識不能な摂動は、予測された後部および非現実的な後部予測標本に劇的な変化をもたらす可能性があることを示す。 本研究では,条件密度推定器のフィッシャー情報をペナライズした計算効率の高い正規化手法を提案する。
• 参考スコア（独自算出の注目度）: 3.308743964406687
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Bayesian inference usually requires running potentially costly inference procedures separately for every new observation. In contrast, the idea of amortized Bayesian inference is to initially invest computational cost in training an inference network on simulated data, which can subsequently be used to rapidly perform inference (i.e., to return estimates of posterior distributions) for new observations. This approach has been applied to many real-world models in the sciences and engineering, but it is unclear how robust the approach is to adversarial perturbations in the observed data. Here, we study the adversarial robustness of amortized Bayesian inference, focusing on simulation-based estimation of multi-dimensional posterior distributions. We show that almost unrecognizable, targeted perturbations of the observations can lead to drastic changes in the predicted posterior and highly unrealistic posterior predictive samples, across several benchmark tasks and a real-world example from neuroscience. We propose a computationally efficient regularization scheme based on penalizing the Fisher information of the conditional density estimator, and show how it improves the adversarial robustness of amortized Bayesian inference.
• Abstract（参考訳）: ベイズ推論は通常、新しい観測ごとに別々にコストのかかる推論手順を実行する必要がある。 対照的に、amortized bayesian inferenceのアイデアは、まずシミュレーションデータに対する推論ネットワークのトレーニングに計算コストを投資することであり、その後、新しい観測のために推論(すなわち、後方分布の見積もりを返すために)を迅速に実行するのに使うことができる。 このアプローチは、科学と工学の多くの実世界のモデルに適用されてきたが、観測データの逆摂動に対してどの程度頑健であるかは明らかではない。 本稿では,多次元後方分布のシミュレーションに基づく推定に焦点をあて,償却ベイズ推定の対角的ロバスト性について検討する。 観測対象のほとんど認識不能な摂動は、予測された後部および高度に非現実的な後部予測サンプルに劇的な変化をもたらし、いくつかのベンチマークタスクと神経科学による実世界の例を示す。 本研究では,条件付密度推定器のフィッシャー情報をペナライズすることに基づく計算効率の高い正規化スキームを提案し,不定形ベイズ推定の逆ロバスト性を改善する方法を示す。

関連論文リスト

• A variational neural Bayes framework for inference on intractable posterior distributions [1.0801976288811024]
  トレーニングされたニューラルネットワークに観測データを供給することにより、モデルパラメータの後方分布を効率的に取得する。 理論的には、我々の後部はKulback-Leiblerの発散において真の後部に収束することを示す。
  論文  参考訳（メタデータ） (2024-04-16T20:40:15Z)
• Efficient Incremental Belief Updates Using Weighted Virtual Observations [2.7195102129095003]
  モンテカルロ推論の文脈における漸進的信念更新問題に対するアルゴリズム的解を提案する。 このアプローチの効率性と堅牢性を示すために,多くの実践例とケーススタディにソリューションを実装し,適用する。
  論文  参考訳（メタデータ） (2024-02-10T12:48:49Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Robust Bayesian Inference for Discrete Outcomes with the Total Variation Distance [5.139874302398955]
  離散的に評価された結果のモデルは、データがゼロインフレーション、過分散または汚染を示す場合、容易に誤特定される。 ここでは、Ttal Variation Distance (TVD) を用いた頑健な相違に基づくベイズ的アプローチを提案する。 我々は、我々のアプローチが堅牢で、シミュレーションおよび実世界のデータの範囲で予測性能を著しく改善していることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-26T09:53:06Z)
• $\beta$-Cores: Robust Large-Scale Bayesian Data Summarization in the Presence of Outliers [14.918826474979587]
  古典的ベイズ推定の質は、観測結果が推定データ生成モデルに適合するかどうかに大きく依存する。 本稿では,大容量データセットに同時スケール可能な変分推論手法を提案する。 多様なシミュレーションおよび実データ、および様々な統計モデルにおいて、我々のアプローチの適用性について説明する。
  論文  参考訳（メタデータ） (2020-08-31T13:47:12Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。