論文の概要: Robust Amortized Bayesian Inference with Self-Consistency Losses on Unlabeled Data

• arxiv url: http://arxiv.org/abs/2501.13483v4
• Date: Thu, 15 May 2025 23:46:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:11.976723
• Title: Robust Amortized Bayesian Inference with Self-Consistency Losses on Unlabeled Data
• Title（参考訳）: ラベルなしデータに基づく自己整合損失を考慮したロバスト補正ベイズ推定
• Authors: Aayush Mishra, Daniel Habermann, Marvin Schmitt, Stefan T. Radev, Paul-Christian Bürkner,
• Abstract要約: 本研究では,実データを含む任意の情報源から得られたテキスト未ラベルデータのトレーニングを可能にする半教師付きアプローチを提案する。 我々は,高次元時系列データや画像データなど,実世界のいくつかのケーススタディに対するアプローチを検証した。
• 参考スコア（独自算出の注目度）: 2.9434969286228494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Amortized Bayesian inference (ABI) with neural networks can solve probabilistic inverse problems orders of magnitude faster than classical methods. However, ABI is not yet sufficiently robust for widespread and safe application. When performing inference on observations outside the scope of the simulated training data, posterior approximations are likely to become highly biased, which cannot be corrected by additional simulations due to the bad pre-asymptotic behavior of current neural posterior estimators. In this paper, we propose a semi-supervised approach that enables training not only on labeled simulated data generated from the model, but also on \textit{unlabeled} data originating from any source, including real data. To achieve this, we leverage Bayesian self-consistency properties that can be transformed into strictly proper losses that do not require knowledge of ground-truth parameters. We test our approach on several real-world case studies, including applications to high-dimensional time-series and image data. Our results show that semi-supervised learning with unlabeled data drastically improves the robustness of ABI in the out-of-simulation regime. Notably, inference remains accurate even when evaluated on observations far away from the labeled and unlabeled data seen during training.
• Abstract（参考訳）: ニューラルネットワークを用いた償却ベイズ推論(ABI)は、古典的手法よりも桁違いの確率的逆問題を解くことができる。 しかし、ABIは広く安全なアプリケーションには十分な堅牢性を持っていない。 模擬訓練データの範囲外の観察で推定を行うと、後部近似は非常に偏りが強くなり、現在の神経後部推定器の異常な漸近前行動のために追加のシミュレーションでは修正できない。 本稿では,モデルから生成されたラベル付きシミュレートされたデータだけでなく,実データを含む任意のソースから生成された「textit{unlabeled}」データにもトレーニングを可能にする半教師付きアプローチを提案する。 これを達成するために、基底真理パラメータの知識を必要としない厳密な適切な損失に変換できるベイズ自己整合性特性を利用する。 我々は,高次元時系列データや画像データなど,実世界のいくつかのケーススタディに対するアプローチを検証した。 実験の結果,ラベルなしデータを用いた半教師あり学習は,シミュレーション外体制におけるABIの堅牢性を大幅に向上させることがわかった。 特に、トレーニング中に見られたラベル付きデータやラベルなしデータから遠く離れた観測で評価された場合でも、推論は正確である。

関連論文リスト

• Statistically Testing Training Data for Unwanted Error Patterns using Rule-Oriented Regression [0.5831737970661137]
  本稿では,欠陥に対するトレーニングデータをテストし,その後の機械学習モデルのトレーニングのための信頼性の高い基盤構造を確立する方法を提案する。 我々の手法は、テスト条件'をデータ内のパターンを記述する条件とすることで、従来の統計的テストの能力を拡張します。 デモと実験のためのオープンソース実装を提供しています。
  論文  参考訳（メタデータ） (2025-03-24T09:52:36Z)
• Robust Simulation-Based Inference under Missing Data via Neural Processes [6.32765579505162]
  我々は,SBIにおける欠落データの問題を定式化し,本手法がSBI後部推定にバイアスをもたらすことを示す。 また,神経後部推定フレームワークにおいて,計算モデルと推論ネットワークを共同で学習することにより,この問題に対処する新しい補正手法を提案する。
  論文  参考訳（メタデータ） (2025-03-03T08:22:01Z)
• Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks: An Extended Investigation [9.950524371154394]
  本研究では、教師なしの方法で訓練し、テスト時にモデルの誤特定を確実に検出できる新しい誤特定尺度を提案する。 提案手法は,不審な出力をユーザに警告し,予測が信頼できない場合に警告を発し,モデル設計者がより良いシミュレータを探索する際の指針となることを示す。
  論文  参考訳（メタデータ） (2024-06-05T11:30:16Z)
• Uncertainty Measurement of Deep Learning System based on the Convex Hull of Training Sets [0.13265175299265505]
  本研究では,訓練データの凸殻に基づくトレーニングモデルの不確実性を測定するTo-hull Uncertainity and Closure Ratioを提案する。 学習したデータの凸船体と見えないサンプルとの間の位置関係を観察し、サンプルが凸船体からどのように外挿されているかを推測することができる。
  論文  参考訳（メタデータ） (2024-05-25T06:25:24Z)
• Efficient semi-supervised inference for logistic regression under case-control studies [3.5485531932219243]
  ラベル付きデータの結果がバイナリとなる半教師付き設定における推論問題を考える。 ケースコントロールサンプリングは、バイナリデータの不均衡構造を緩和するための効果的なサンプリング手法である。 ラベルのないデータが利用可能であれば、インターセプトパラメータを半教師付き学習設定で識別できることが分かる。
  論文  参考訳（メタデータ） (2024-02-23T14:55:58Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• IB-UQ: Information bottleneck based uncertainty quantification for neural function regression and neural operator learning [11.5992081385106]
  本稿では,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークを提案する。 我々は,入力データの信頼度に応じて,入力を潜在表現に符号化する信頼認識エンコーダによってボトルネックを埋め込む。 また,外挿不確かさの質を高めるために,データ拡張に基づく情報ボトルネック目標を提案する。
  論文  参考訳（メタデータ） (2023-02-07T05:56:42Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• $\beta$-Cores: Robust Large-Scale Bayesian Data Summarization in the Presence of Outliers [14.918826474979587]
  古典的ベイズ推定の質は、観測結果が推定データ生成モデルに適合するかどうかに大きく依存する。 本稿では,大容量データセットに同時スケール可能な変分推論手法を提案する。 多様なシミュレーションおよび実データ、および様々な統計モデルにおいて、我々のアプローチの適用性について説明する。
  論文  参考訳（メタデータ） (2020-08-31T13:47:12Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。