論文の概要: PAGER: A Framework for Failure Analysis of Deep Regression Models

• arxiv url: http://arxiv.org/abs/2309.10977v1
• Date: Wed, 20 Sep 2023 00:37:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 13:17:29.190139
• Title: PAGER: A Framework for Failure Analysis of Deep Regression Models
• Title（参考訳）: PAGER: 深部回帰モデルの故障解析のためのフレームワーク
• Authors: Jayaraman J. Thiagarajan, Vivek Narayanaswamy, Puja Trivedi, Rushil Anirudh
• Abstract要約: PAGER (Principled Analysis of Generalization Errors in Regressors) は、深い回帰モデルにおける障害を体系的に検出し、特徴付けるフレームワークである。 PAGERは正確な一般化の領域を識別し、配布外およびサポート外シナリオにおける障害ケースを検出する。
• 参考スコア（独自算出の注目度）: 30.370133888519387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safe deployment of AI models requires proactive detection of potential prediction failures to prevent costly errors. While failure detection in classification problems has received significant attention, characterizing failure modes in regression tasks is more complicated and less explored. Existing approaches rely on epistemic uncertainties or feature inconsistency with the training distribution to characterize model risk. However, we show that uncertainties are necessary but insufficient to accurately characterize failure, owing to the various sources of error. In this paper, we propose PAGER (Principled Analysis of Generalization Errors in Regressors), a framework to systematically detect and characterize failures in deep regression models. Built upon the recently proposed idea of anchoring in deep models, PAGER unifies both epistemic uncertainties and novel, complementary non-conformity scores to organize samples into different risk regimes, thereby providing a comprehensive analysis of model errors. Additionally, we introduce novel metrics for evaluating failure detectors in regression tasks. We demonstrate the effectiveness of PAGER on synthetic and real-world benchmarks. Our results highlight the capability of PAGER to identify regions of accurate generalization and detect failure cases in out-of-distribution and out-of-support scenarios.
• Abstract（参考訳）: aiモデルの安全なデプロイには、コストのかかるエラーを防ぐために、潜在的な予測失敗を積極的に検出する必要がある。 分類問題における障害検出は注目されているが、回帰タスクにおける障害モードの特徴付けはより複雑であり、調査は少ない。 既存のアプローチでは、モデルリスクを特徴付けるトレーニング分布と認識的不確実性や特徴的不整合に依存する。 しかし, 様々な誤りの原因から, 不確実性は必要であるが, 失敗を正確に特徴づけるには不十分であることを示す。 本稿では,深い回帰モデルにおける故障を体系的に検出し特徴付けるフレームワークであるpager(principed analysis of generalization error in regressor)を提案する。 最近提案された深層モデルへのアンカーというアイデアに基づいて、pagerは認識の不確実性と、異なるリスクレジームにサンプルを整理するための新しい補完的非コンフォーマルスコアの両方を統一し、モデルエラーの包括的な分析を提供する。 さらに,回帰タスクにおける故障検知器を評価するための新しい指標を提案する。 合成および実世界のベンチマークにおけるPAGERの有効性を示す。 この結果から,PAGERが正確な一般化領域を特定し,配布外およびサポート外シナリオにおける障害事例を検出する能力を強調した。

関連論文リスト

• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Parameter uncertainties for imperfect surrogate models in the low-noise regime [0.3069335774032178]
  我々は、不特定、ほぼ決定論的シュロゲートモデルの一般化誤差を解析する。 遅れた一般化誤差を避けるために、後続分布が全ての訓練点をカバーする必要があることを示す。 これは、原子論的機械学習における1000次元データセットに適用する前に、モデル問題で実証される。
  論文  参考訳（メタデータ） (2024-02-02T11:41:21Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Probabilities Are Not Enough: Formal Controller Synthesis for Stochastic Dynamical Models with Epistemic Uncertainty [68.00748155945047]
  複雑な力学系のモデルにおける不確実性を捉えることは、安全なコントローラの設計に不可欠である。 いくつかのアプローチでは、安全と到達可能性に関する時間的仕様を満たすポリシーを形式的な抽象化を用いて合成する。 我々の貢献は、ノイズ、不確実なパラメータ、外乱を含む連続状態モデルに対する新しい抽象的制御法である。
  論文  参考訳（メタデータ） (2022-10-12T07:57:03Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• When and Why does a Model Fail? A Human-in-the-loop Error Detection Framework for Sentiment Analysis [12.23497603132782]
  本稿では,説明可能な特徴に基づく感情分析のための誤り検出フレームワークを提案する。 実験結果から,ループ内介入が限定された場合,未確認データの誤モデル予測を高精度に検出できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-02T05:45:42Z)
• Aleatoric uncertainty for Errors-in-Variables models in deep regression [0.48733623015338234]
  Errors-in-Variablesの概念がベイズ的深部回帰においてどのように利用できるかを示す。 様々なシミュレートされた実例に沿ったアプローチについて論じる。
  論文  参考訳（メタデータ） (2021-05-19T12:37:02Z)
• Do Not Forget to Attend to Uncertainty while Mitigating Catastrophic Forgetting [29.196246255389664]
  ディープラーニングモデルの大きな制限の1つは、漸進的な学習シナリオにおいて、破滅的な忘れに直面していることだ。 ベイズ式を定式化して,不確実性をモデル化する。 漸進的な学習問題に対処するために、自己認識フレームワークも組み込んでいます。
  論文  参考訳（メタデータ） (2021-02-03T06:54:52Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。