論文の概要: Robust Amortized Bayesian Inference with Self-Consistency Losses on Unlabeled Data
- arxiv url: http://arxiv.org/abs/2501.13483v1
- Date: Thu, 23 Jan 2025 08:57:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-24 15:59:20.977177
- Title: Robust Amortized Bayesian Inference with Self-Consistency Losses on Unlabeled Data
- Title（参考訳）: ラベルなしデータに基づく自己整合損失を考慮したロバスト補正ベイズ推定
- Authors: Aayush Mishra, Daniel Habermann, Marvin Schmitt, Stefan T. Radev, Paul-Christian Bürkner,
- Abstract要約: 本研究では,モデルから生成した(ラベル付き)シミュレーションデータだけでなく,実世界のデータを含む任意の情報源から生成したラベル付きデータ上でのトレーニングを可能にする半教師付きアプローチを提案する。
実験結果から, シミュレーション外データに対するABIのロバスト性は著しく向上した。
我々の研究結果が他のシナリオやモデルクラスにも一般化されれば、新しい手法は神経性ABIの大きなブレークスルーとなると信じています。
- 参考スコア（独自算出の注目度）: 2.9434969286228494
- License:
- Abstract: Neural amortized Bayesian inference (ABI) can solve probabilistic inverse problems orders of magnitude faster than classical methods. However, neural ABI is not yet sufficiently robust for widespread and safe applicability. In particular, when performing inference on observations outside of the scope of the simulated data seen during training, for example, because of model misspecification, the posterior approximations are likely to become highly biased. Due to the bad pre-asymptotic behavior of current neural posterior estimators in the out-of-simulation regime, the resulting estimation biases cannot be fixed in acceptable time by just simulating more training data. In this proof-of-concept paper, we propose a semi-supervised approach that enables training not only on (labeled) simulated data generated from the model, but also on unlabeled data originating from any source, including real-world data. To achieve the latter, we exploit Bayesian self-consistency properties that can be transformed into strictly proper losses without requiring knowledge of true parameter values, that is, without requiring data labels. The results of our initial experiments show remarkable improvements in the robustness of ABI on out-of-simulation data. Even if the observed data is far away from both labeled and unlabeled training data, inference remains highly accurate. If our findings also generalize to other scenarios and model classes, we believe that our new method represents a major breakthrough in neural ABI.
- Abstract（参考訳）: ABI(Neural amortized Bayesian Inference)は、古典的手法よりも桁違いに高速な確率的逆問題の解法である。
しかし、神経性ABIは広範かつ安全な応用には十分な堅牢性を持っていない。
特に、トレーニング中に観察されるシミュレーションデータの範囲外の観察で推論を行う場合、例えば、モデルの不特定性のため、後部近似は非常に偏りが強くなる傾向にある。
シミュレーション外状態における現在の神経後部推定器の異常な漸近前行動のため、より多くのトレーニングデータをシミュレートするだけで、結果として生じる推定バイアスは許容時間内に固定できない。
本稿では,モデルから生成された(ラベル付き)シミュレートされたデータだけでなく,実世界のデータを含む任意の情報源からのラベル付きデータもトレーニングできる半教師付きアプローチを提案する。
後者を実現するために,データラベルを必要とせず,真のパラメータ値の知識を必要とせず,正確に適切な損失に変換できるベイズ自己整合性特性を利用する。
実験結果から, シミュレーション外データに対するABIのロバスト性は著しく向上した。
ラベル付きトレーニングデータとラベルなしトレーニングデータの両方から観測データが遠く離れていても、推論は非常に正確である。
我々の研究結果が他のシナリオやモデルクラスにも一般化されれば、新しい手法は神経性ABIの大きなブレークスルーとなると信じています。
関連論文リスト
- Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks: An Extended Investigation [9.950524371154394]
本研究では、教師なしの方法で訓練し、テスト時にモデルの誤特定を確実に検出できる新しい誤特定尺度を提案する。
提案手法は,不審な出力をユーザに警告し,予測が信頼できない場合に警告を発し,モデル設計者がより良いシミュレータを探索する際の指針となることを示す。
論文 参考訳（メタデータ） (2024-06-05T11:30:16Z) - Uncertainty Measurement of Deep Learning System based on the Convex Hull of Training Sets [0.13265175299265505]
本研究では,訓練データの凸殻に基づくトレーニングモデルの不確実性を測定するTo-hull Uncertainity and Closure Ratioを提案する。
学習したデータの凸船体と見えないサンプルとの間の位置関係を観察し、サンプルが凸船体からどのように外挿されているかを推測することができる。
論文 参考訳（メタデータ） (2024-05-25T06:25:24Z) - Efficient semi-supervised inference for logistic regression under
case-control studies [3.5485531932219243]
ラベル付きデータの結果がバイナリとなる半教師付き設定における推論問題を考える。
ケースコントロールサンプリングは、バイナリデータの不均衡構造を緩和するための効果的なサンプリング手法である。
ラベルのないデータが利用可能であれば、インターセプトパラメータを半教師付き学習設定で識別できることが分かる。
論文 参考訳（メタデータ） (2024-02-23T14:55:58Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - Evaluating State-of-the-Art Classification Models Against Bayes
Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。
われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文 参考訳（メタデータ） (2021-06-07T06:21:20Z) - Bayesian Imaging With Data-Driven Priors Encoded by Neural Networks:
Theory, Methods, and Algorithms [2.266704469122763]
本稿では,事前知識がトレーニングデータとして利用可能である逆問題に対して,ベイズ推定を行う新しい手法を提案する。
容易に検証可能な条件下で,関連する後方モーメントの存在と適切性を確立する。
モデル精度解析により、データ駆動モデルによって報告されるベイズ確率は、頻繁な定義の下で著しく正確であることが示された。
論文 参考訳（メタデータ） (2021-03-18T11:34:08Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - $\beta$-Cores: Robust Large-Scale Bayesian Data Summarization in the
Presence of Outliers [14.918826474979587]
古典的ベイズ推定の質は、観測結果が推定データ生成モデルに適合するかどうかに大きく依存する。
本稿では,大容量データセットに同時スケール可能な変分推論手法を提案する。
多様なシミュレーションおよび実データ、および様々な統計モデルにおいて、我々のアプローチの適用性について説明する。
論文 参考訳（メタデータ） (2020-08-31T13:47:12Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。