論文の概要: Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks: An Extended Investigation

• arxiv url: http://arxiv.org/abs/2406.03154v1
• Date: Wed, 5 Jun 2024 11:30:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 18:50:02.200861
• Title: Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks: An Extended Investigation
• Title（参考訳）: ニューラルネットワークによる償却ベイズ推論におけるモデルミス種別検出:拡張的検討
• Authors: Marvin Schmitt, Paul-Christian Bürkner, Ullrich Köthe, Stefan T. Radev,
• Abstract要約: 本研究では、教師なしの方法で訓練し、テスト時にモデルの誤特定を確実に検出できる新しい誤特定尺度を提案する。 提案手法は,不審な出力をユーザに警告し,予測が信頼できない場合に警告を発し,モデル設計者がより良いシミュレータを探索する際の指針となることを示す。
• 参考スコア（独自算出の注目度）: 9.950524371154394
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent advances in probabilistic deep learning enable efficient amortized Bayesian inference in settings where the likelihood function is only implicitly defined by a simulation program (simulation-based inference; SBI). But how faithful is such inference if the simulation represents reality somewhat inaccurately, that is, if the true system behavior at test time deviates from the one seen during training? We conceptualize the types of such model misspecification arising in SBI and systematically investigate how the performance of neural posterior approximators gradually deteriorates as a consequence, making inference results less and less trustworthy. To notify users about this problem, we propose a new misspecification measure that can be trained in an unsupervised fashion (i.e., without training data from the true distribution) and reliably detects model misspecification at test time. Our experiments clearly demonstrate the utility of our new measure both on toy examples with an analytical ground-truth and on representative scientific tasks in cell biology, cognitive decision making, disease outbreak dynamics, and computer vision. We show how the proposed misspecification test warns users about suspicious outputs, raises an alarm when predictions are not trustworthy, and guides model designers in their search for better simulators.
• Abstract（参考訳）: 確率的深層学習の最近の進歩は、確率関数がシミュレーションプログラム(シミュレーションベース推論、SBI)によって暗黙的にのみ定義される設定において、効率の良い減弱ベイズ推論を可能にする。 しかし、シミュレーションが現実を幾らか不正確に表現しているなら、そのような推論はどれほど忠実なのだろうか。 我々は,SBIにおけるそのようなモデルの誤識別のタイプを概念化し,神経後部近似器の性能が徐々に低下し,推論結果の信頼性が低下することを示した。 この問題をユーザに通知するために、教師なしの方法で訓練できる新しい不特定性尺度(すなわち、真の分布からデータをトレーニングせずに)を提案し、テスト時にモデルの不特定性を確実に検出する。 本実験は,解析的基盤構造を持つ玩具の事例と,細胞生物学,認知的意思決定,疾患発生のダイナミクス,コンピュータビジョンにおける代表的な科学的課題の両方において,新しい尺度の有用性を実証するものである。 提案手法は,不審な出力をユーザに警告し,予測が信頼できない場合に警告を発し,モデル設計者がより良いシミュレータを探索する際の指針となることを示す。

関連論文リスト

• Uncertainty Measurement of Deep Learning System based on the Convex Hull of Training Sets [0.13265175299265505]
  本研究では,訓練データの凸殻に基づくトレーニングモデルの不確実性を測定するTo-hull Uncertainity and Closure Ratioを提案する。 学習したデータの凸船体と見えないサンプルとの間の位置関係を観察し、サンプルが凸船体からどのように外挿されているかを推測することができる。
  論文  参考訳（メタデータ） (2024-05-25T06:25:24Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Investigating the Impact of Model Misspecification in Neural Simulation-based Inference [1.933681537640272]
  本研究では,様々なモデルの誤識別が存在する場合のニューラルネットワークSBIアルゴリズムの挙動について検討する。 ミスセグメンテーションは、パフォーマンスに非常に有害な影響を及ぼす可能性があることに気付きました。 我々は、ニューラルネットワークSBIアルゴリズムが正確な結論を導出するために頼らなければならない場合、モデルの誤特定に対処するために新しいアプローチが必要であると結論付けた。
  論文  参考訳（メタデータ） (2022-09-05T09:08:16Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• BayesFlow can reliably detect Model Misspecification and Posterior Errors in Amortized Bayesian Inference [0.0]
  シミュレーションに基づく推論で生じるモデル誤特定のタイプを概念化し、これらの誤特定の下でベイズフローフレームワークの性能を体系的に検討する。 本稿では、潜在データ空間に確率的構造を課し、最大平均不一致(MMD)を利用して破滅的な誤特定を検知する拡張最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T13:25:27Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• A comprehensive study on the prediction reliability of graph neural networks for virtual screening [0.0]
  本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。 その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-17T10:13:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。