論文の概要: PAGER: A Framework for Failure Analysis of Deep Regression Models
- arxiv url: http://arxiv.org/abs/2309.10977v1
- Date: Wed, 20 Sep 2023 00:37:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 13:17:29.190139
- Title: PAGER: A Framework for Failure Analysis of Deep Regression Models
- Title(参考訳): PAGER: 深部回帰モデルの故障解析のためのフレームワーク
- Authors: Jayaraman J. Thiagarajan, Vivek Narayanaswamy, Puja Trivedi, Rushil
Anirudh
- Abstract要約: PAGER (Principled Analysis of Generalization Errors in Regressors) は、深い回帰モデルにおける障害を体系的に検出し、特徴付けるフレームワークである。
PAGERは正確な一般化の領域を識別し、配布外およびサポート外シナリオにおける障害ケースを検出する。
- 参考スコア(独自算出の注目度): 30.370133888519387
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safe deployment of AI models requires proactive detection of potential
prediction failures to prevent costly errors. While failure detection in
classification problems has received significant attention, characterizing
failure modes in regression tasks is more complicated and less explored.
Existing approaches rely on epistemic uncertainties or feature inconsistency
with the training distribution to characterize model risk. However, we show
that uncertainties are necessary but insufficient to accurately characterize
failure, owing to the various sources of error. In this paper, we propose PAGER
(Principled Analysis of Generalization Errors in Regressors), a framework to
systematically detect and characterize failures in deep regression models.
Built upon the recently proposed idea of anchoring in deep models, PAGER
unifies both epistemic uncertainties and novel, complementary non-conformity
scores to organize samples into different risk regimes, thereby providing a
comprehensive analysis of model errors. Additionally, we introduce novel
metrics for evaluating failure detectors in regression tasks. We demonstrate
the effectiveness of PAGER on synthetic and real-world benchmarks. Our results
highlight the capability of PAGER to identify regions of accurate
generalization and detect failure cases in out-of-distribution and
out-of-support scenarios.
- Abstract(参考訳): aiモデルの安全なデプロイには、コストのかかるエラーを防ぐために、潜在的な予測失敗を積極的に検出する必要がある。
分類問題における障害検出は注目されているが、回帰タスクにおける障害モードの特徴付けはより複雑であり、調査は少ない。
既存のアプローチでは、モデルリスクを特徴付けるトレーニング分布と認識的不確実性や特徴的不整合に依存する。
しかし, 様々な誤りの原因から, 不確実性は必要であるが, 失敗を正確に特徴づけるには不十分であることを示す。
本稿では,深い回帰モデルにおける故障を体系的に検出し特徴付けるフレームワークであるpager(principed analysis of generalization error in regressor)を提案する。
最近提案された深層モデルへのアンカーというアイデアに基づいて、pagerは認識の不確実性と、異なるリスクレジームにサンプルを整理するための新しい補完的非コンフォーマルスコアの両方を統一し、モデルエラーの包括的な分析を提供する。
さらに,回帰タスクにおける故障検知器を評価するための新しい指標を提案する。
合成および実世界のベンチマークにおけるPAGERの有効性を示す。
この結果から,PAGERが正確な一般化領域を特定し,配布外およびサポート外シナリオにおける障害事例を検出する能力を強調した。
関連論文リスト
- Selective Learning: Towards Robust Calibration with Dynamic
Regularization [93.2503677723367]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳(メタデータ) (2024-02-13T11:25:20Z) - Misspecification uncertainties in near-deterministic regression [0.3626013617212667]
我々は,ほぼ決定論的,不特定,過度にパラメータ化された代理モデルの一般化誤差を解析した。
この制約を尊重するアンサンブルアンサッツを導出するために、後続分布が全ての訓練点をカバーする必要があることを示す。
論文 参考訳(メタデータ) (2024-02-02T11:41:21Z) - Monitoring Model Deterioration with Explainable Uncertainty Estimation
via Non-parametric Bootstrap [0.0]
一度デプロイされた機械学習モデルを監視することは難しい。
ラベル付きデータが到達範囲を超えている場合、実際のシナリオでモデルをいつ再トレーニングするかを判断するのはさらに難しい。
本研究では,非パラメトリックブートストラップ型不確実性推定とSHAP値を用いて説明可能な不確実性推定を行う。
論文 参考訳(メタデータ) (2022-01-27T17:23:04Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳(メタデータ) (2021-11-22T08:54:10Z) - CC-Cert: A Probabilistic Approach to Certify General Robustness of
Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。
意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。
我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文 参考訳(メタデータ) (2021-09-22T12:46:04Z) - When and Why does a Model Fail? A Human-in-the-loop Error Detection
Framework for Sentiment Analysis [12.23497603132782]
本稿では,説明可能な特徴に基づく感情分析のための誤り検出フレームワークを提案する。
実験結果から,ループ内介入が限定された場合,未確認データの誤モデル予測を高精度に検出できることが示唆された。
論文 参考訳(メタデータ) (2021-06-02T05:45:42Z) - Aleatoric uncertainty for Errors-in-Variables models in deep regression [0.48733623015338234]
Errors-in-Variablesの概念がベイズ的深部回帰においてどのように利用できるかを示す。
様々なシミュレートされた実例に沿ったアプローチについて論じる。
論文 参考訳(メタデータ) (2021-05-19T12:37:02Z) - Approaching Neural Network Uncertainty Realism [53.308409014122816]
自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。
マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。
自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
論文 参考訳(メタデータ) (2021-01-08T11:56:12Z) - Estimating Generalization under Distribution Shifts via Domain-Invariant
Representations [75.74928159249225]
未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。
結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
論文 参考訳(メタデータ) (2020-07-06T17:21:24Z) - Model Uncertainty Quantification for Reliable Deep Vision Structural
Health Monitoring [2.5126058470073263]
本稿では,深部視覚構造型健康モニタリングモデルに対するベイズ推定を提案する。
不確かさはモンテカルロのドロップアウトサンプリングを用いて定量化することができる。
き裂, 局部損傷同定, 橋梁部品検出の3つの独立したケーススタディについて検討した。
論文 参考訳(メタデータ) (2020-04-10T17:54:10Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。