論文の概要: Onboard Out-of-Calibration Detection of Deep Learning Models using Conformal Prediction

• arxiv url: http://arxiv.org/abs/2405.02634v1
• Date: Sat, 4 May 2024 11:05:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 19:10:59.443747
• Title: Onboard Out-of-Calibration Detection of Deep Learning Models using Conformal Prediction
• Title（参考訳）: 等角予測を用いたディープラーニングモデルのオンボード校正検出
• Authors: Protim Bhattacharjee, Peter Jung,
• Abstract要約: 本研究では,共形予測アルゴリズムが深層学習モデルの不確かさと関係があることを示し,この関係が深層学習モデルが校正外であるかどうかを検出するのに有効であることを示す。 モデル不確かさと共形予測セットの平均サイズに関連する校正外検出手順を示す。
• 参考スコア（独自算出の注目度）: 4.856998175951948
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The black box nature of deep learning models complicate their usage in critical applications such as remote sensing. Conformal prediction is a method to ensure trust in such scenarios. Subject to data exchangeability, conformal prediction provides finite sample coverage guarantees in the form of a prediction set that is guaranteed to contain the true class within a user defined error rate. In this letter we show that conformal prediction algorithms are related to the uncertainty of the deep learning model and that this relation can be used to detect if the deep learning model is out-of-calibration. Popular classification models like Resnet50, Densenet161, InceptionV3, and MobileNetV2 are applied on remote sensing datasets such as the EuroSAT to demonstrate how under noisy scenarios the model outputs become untrustworthy. Furthermore an out-of-calibration detection procedure relating the model uncertainty and the average size of the conformal prediction set is presented.
• Abstract（参考訳）: 深層学習モデルのブラックボックスの性質は、リモートセンシングのような重要なアプリケーションでの使用を複雑にしている。 コンフォーマル予測は、そのようなシナリオに対する信頼を保証する方法である。 データ交換性に対して、共形予測は、ユーザ定義エラー率内に真のクラスを含むことが保証される予測セットの形式で、有限サンプルカバレッジ保証を提供する。 本稿では,共形予測アルゴリズムが深層学習モデルの不確実性と関連していることを示すとともに,この関係を深部学習モデルが校正外であるかどうかを検出するために利用できることを示す。 Resnet50、Densenet161、InceptionV3、MobileNetV2といった一般的な分類モデルは、EuroSATのようなリモートセンシングデータセットに適用され、ノイズの多いシナリオ下でモデル出力が不信になることを示す。 さらに、モデル不確かさと共形予測セットの平均サイズに関連する校正外検出手順を示す。

関連論文リスト

• Calibration of Time-Series Forecasting: Detecting and Adapting Context-Driven Distribution Shift [28.73747033245012]
  本稿では,コンテキスト駆動分布シフトの検出と適応のための普遍的キャリブレーション手法を提案する。 レジデンシャルベースCDS検出器(Residual-based CDS detector)またはリコンディショナー(Reconditionor)と呼ばれる新しいCDS検出器は、モデルの脆弱性をCDSに定量化する。 高いリコンディショナースコアは、重度の感受性を示し、したがってモデル適応を必要とする。
  論文  参考訳（メタデータ） (2023-10-23T11:58:01Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Confidence estimation of classification based on the distribution of the neural network output layer [4.529188601556233]
  現実の世界における予測モデルの適用を防ぐための最も一般的な問題の1つは一般化の欠如である。 ニューラルネットワーク分類モデルにより生成された特定の予測の不確かさを推定する新しい手法を提案する。 提案手法は,この予測に対応するロジット値の分布に基づいて,特定の予測の信頼性を推定する。
  論文  参考訳（メタデータ） (2022-10-14T12:32:50Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。