論文の概要: Principled Input-Output-Conditioned Post-Hoc Uncertainty Estimation for Regression Networks

• arxiv url: http://arxiv.org/abs/2506.00918v1
• Date: Sun, 01 Jun 2025 09:13:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.791467
• Title: Principled Input-Output-Conditioned Post-Hoc Uncertainty Estimation for Regression Networks
• Title（参考訳）: 回帰ネットワークにおける入出力型ポストホック不確実性推定の原理化
• Authors: Lennart Bramlage, Cristóbal Curio,
• Abstract要約: 不確実性は安全性に敏感なアプリケーションでは重要であるが、予測性能に悪影響を及ぼすため、市販のニューラルネットワークから排除されることが多い。 本稿では,従来の入力と凍結モデルの両方に補助モデルを適用することにより,回帰タスクにおけるポストホック不確実性推定のための理論的基盤となるフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.4671424999873808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty quantification is critical in safety-sensitive applications but is often omitted from off-the-shelf neural networks due to adverse effects on predictive performance. Retrofitting uncertainty estimates post-hoc typically requires access to model parameters or gradients, limiting feasibility in practice. We propose a theoretically grounded framework for post-hoc uncertainty estimation in regression tasks by fitting an auxiliary model to both original inputs and frozen model outputs. Drawing from principles of maximum likelihood estimation and sequential parameter fitting, we formalize an exact post-hoc optimization objective that recovers the canonical MLE of Gaussian parameters, without requiring sampling or approximation at inference. While prior work has used model outputs to estimate uncertainty, we explicitly characterize the conditions under which this is valid and demonstrate the extent to which structured outputs can support quasi-epistemic inference. We find that using diverse auxiliary data, such as augmented subsets of the original training data, significantly enhances OOD detection and metric performance. Our hypothesis that frozen model outputs contain generalizable latent information about model error and predictive uncertainty is tested and confirmed. Finally, we ensure that our method maintains proper estimation of input-dependent uncertainty without relying exclusively on base model forecasts. These findings are demonstrated in toy problems and adapted to both UCI and depth regression benchmarks. Code: https://github.com/biggzlar/IO-CUE.
• Abstract（参考訳）: 不確かさの定量化は、安全に敏感なアプリケーションでは重要であるが、予測性能に悪影響を及ぼすため、市販のニューラルネットワークから省略されることが多い。 不確実性評価の再適合は、一般的にモデルパラメータや勾配へのアクセスを必要とし、実際は実現可能性を制限する。 本稿では,従来の入力と凍結モデルの両方に補助モデルを適用することにより,回帰タスクにおけるポストホック不確実性推定のための理論的基盤となるフレームワークを提案する。 最大推定と逐次パラメータフィッティングの原理から、推定時にサンプリングや近似を必要とせず、ガウスパラメータの標準的MLEを復元する厳密なポストホック最適化目標を定式化する。 先行研究ではモデル出力を用いて不確かさを推定するが、これを有効とする条件を明示的に特徴付け、構造化された出力が準独立性推論をサポートする範囲を実証する。 トレーニングデータのサブセットの追加など,多様な補助データを使用することで,OODの検出やメトリックのパフォーマンスが大幅に向上することがわかった。 凍結モデル出力は、モデル誤差に関する一般化可能な潜伏情報を含み、予測の不確かさを検証し、確認する。 最後に,本手法は,ベースモデル予測のみに依存することなく,入力依存不確かさの適切な推定を確実にする。 これらの知見はおもちゃの問題で示され、UCIと深度回帰ベンチマークの両方に適応している。 コード:https://github.com/biggzlar/IO-CUE。

関連論文リスト

• TULiP: Test-time Uncertainty Estimation via Linearization and Weight Perturbation [11.334867025651233]
  OOD検出のための理論駆動型不確実性推定器TULiPを提案する。 本手法では,収束前にネットワークに適用される仮説的摂動を考察する。 提案手法は,特に近分布試料について,最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-05-22T17:16:41Z)
• Active operator learning with predictive uncertainty quantification for partial differential equations [6.519088943440059]
  本研究では,訓練中に観測されたモデル誤差に校正された予測的不確実性推定を用いたディープオペレータネットワーク(DeepONets)の不確実性定量化手法を開発した。 不確実性フレームワークは、既存のアンサンブルアプローチとは対照的に、単一のネットワークを使用して動作し、トレーニングと推論中に最小限のオーバーヘッドを導入する。 一連の偏微分方程式(PDE)問題に対する不確実性を考慮したモデルの評価を行い、モデル予測が偏りがなく、非歪で、PDEに対する解を正確に再現していることを示す。
  論文  参考訳（メタデータ） (2025-03-05T04:48:14Z)
• Inference at the data's edge: Gaussian processes for modeling and inference under model-dependency, poor overlap, and extrapolation [0.0]
  ガウス過程 (GP) はフレキシブルな非線形回帰法である。 これは、予測された(非現実的な)値に対する不確実性を扱うための原則化されたアプローチを提供する。 これは外挿または弱い重なり合いの条件下では特に有用である。
  論文  参考訳（メタデータ） (2024-07-15T05:09:50Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
  ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。 本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:03:30Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。