論文の概要: Assessing the Reliability of Deep Learning Classifiers Through
Robustness Evaluation and Operational Profiles
- arxiv url: http://arxiv.org/abs/2106.01258v1
- Date: Wed, 2 Jun 2021 16:10:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 17:48:05.842651
- Title: Assessing the Reliability of Deep Learning Classifiers Through
Robustness Evaluation and Operational Profiles
- Title(参考訳): ロバストネス評価と操作プロファイルによる深層学習分類器の信頼性の評価
- Authors: Xingyu Zhao, Wei Huang, Alec Banks, Victoria Cox, David Flynn, Sven
Schewe, Xiaowei Huang
- Abstract要約: 本稿では,Deep Learning (DL)分類器のモデルに依存しない信頼性評価手法を提案する。
入力空間を小さなセルに分割し、与えられたアプリケーションの運用プロファイル(OP)に従って、その堅牢性を(基礎的な真実に)"組み立てる。
信頼度は、入力(pmi)毎の誤分類の確率で推定され、信頼度とともに導出できる。
- 参考スコア(独自算出の注目度): 13.31639740011618
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The utilisation of Deep Learning (DL) is advancing into increasingly more
sophisticated applications. While it shows great potential to provide
transformational capabilities, DL also raises new challenges regarding its
reliability in critical functions. In this paper, we present a model-agnostic
reliability assessment method for DL classifiers, based on evidence from
robustness evaluation and the operational profile (OP) of a given application.
We partition the input space into small cells and then "assemble" their
robustness (to the ground truth) according to the OP, where estimators on the
cells' robustness and OPs are provided. Reliability estimates in terms of the
probability of misclassification per input (pmi) can be derived together with
confidence levels. A prototype tool is demonstrated with simplified case
studies. Model assumptions and extension to real-world applications are also
discussed. While our model easily uncovers the inherent difficulties of
assessing the DL dependability (e.g. lack of data with ground truth and
scalability issues), we provide preliminary/compromised solutions to advance in
this research direction.
- Abstract(参考訳): ディープラーニング(DL)の利用は、ますます高度なアプリケーションへと進歩している。
トランスフォーメーション機能を提供する大きな可能性を示す一方で、DLは重要な機能の信頼性に関する新たな課題も提起している。
本稿では,与えられたアプリケーションのロバスト性評価と運用プロファイル(op)から得られた証拠に基づいて,dl分類器のモデル非依存信頼性評価手法を提案する。
入力空間を小さなセルに分割し、そのロバスト性(基礎的真実まで)をopに従って「組み立てる」ことで、セルのロバスト性と運用に関する推定器が提供されます。
信頼度推定 入力毎の誤分類の確率(pmi)の観点からは、信頼度レベルとともに導出することができる。
簡単なケーススタディでプロトタイプツールを実演する。
モデル仮定と実世界のアプリケーションの拡張についても論じる。
私たちのモデルは、DLの信頼性を評価することの難しさを容易に明らかにします(例)。
基礎的な真実とスケーラビリティの問題を伴うデータの欠如) この研究の方向性を進めるための予備的かつ妥協されたソリューションを提供する。
関連論文リスト
- Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳(メタデータ) (2024-02-07T21:58:40Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳(メタデータ) (2024-01-25T09:18:51Z) - Reliability in Semantic Segmentation: Are We on the Right Track? [15.0189654919665]
我々は、古いResNetベースのアーキテクチャから新しいトランスフォーマーまで、さまざまなモデルを分析します。
近年のモデルでは, 信頼性は著しく高いが, 不確実性評価の点では, 全体として信頼性は高くない。
これは、ロバストネスと不確実性推定の両方に焦点を当てた現代のセグメンテーションモデルに関する最初の研究である。
論文 参考訳(メタデータ) (2023-03-20T17:38:24Z) - Robust Deep Learning for Autonomous Driving [0.0]
モデル信頼度を確実に推定する新しい基準を導入する:真のクラス確率(TCP)
真のクラスは本質的にテスト時に未知であるため、補助モデルを用いてデータからTCPの基準を学習し、この文脈に適応した特定の学習スキームを導入することを提案する。
本研究は, 既知モデルに基づく新たな不確実性尺度を導入することで, 誤分類と分布外サンプルを共同で検出する課題に対処する。
論文 参考訳(メタデータ) (2022-11-14T22:07:11Z) - Improving the Adversarial Robustness of NLP Models by Information
Bottleneck [112.44039792098579]
非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。
本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。
情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
論文 参考訳(メタデータ) (2022-06-11T12:12:20Z) - A Survey on Uncertainty Toolkits for Deep Learning [3.113304966059062]
ディープラーニング(DL)における不確実性推定のためのツールキットに関する第1回調査について述べる。
モデリングおよび評価能力に関する11のツールキットについて検討する。
最初の2つは、それぞれのフレームワークに大きな柔軟性とシームレスな統合を提供するが、最後の2つは、より大きな方法論的スコープを持っている。
論文 参考訳(メタデータ) (2022-05-02T17:23:06Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳(メタデータ) (2021-07-07T15:42:49Z) - Confidence Estimation via Auxiliary Models [47.08749569008467]
モデル信頼のための新しいターゲット基準、すなわち真のクラス確率(TCP)を紹介します。
標準最大クラス確率 (MCP) よりも TCP が信頼度推定に優れた特性を提供することを示す。
論文 参考訳(メタデータ) (2020-12-11T17:21:12Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。
具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。
実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
論文 参考訳(メタデータ) (2020-05-13T04:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。