論文の概要: Ensembling Uncertainty Measures to Improve Safety of Black-Box
Classifiers
- arxiv url: http://arxiv.org/abs/2308.12065v1
- Date: Wed, 23 Aug 2023 11:24:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 14:28:48.374305
- Title: Ensembling Uncertainty Measures to Improve Safety of Black-Box
Classifiers
- Title(参考訳): ブラックボックス分類器の安全性向上のための不確実性対策
- Authors: Tommaso Zoppi, Andrea Ceccarelli, Andrea Bondavalli
- Abstract要約: SPROUTは、不確実性対策の安全ラッパースローアンサンブルである。
ブラックボックス分類器の入力と出力に関する不確実性を測定することで、誤分類を疑う。
その結果の安全性への影響は、SPROUTが不規則な出力(ミス分類)をデータ欠落の失敗に変換することである。
- 参考スコア(独自算出の注目度): 3.130722489512822
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine Learning (ML) algorithms that perform classification may predict the
wrong class, experiencing misclassifications. It is well-known that
misclassifications may have cascading effects on the encompassing system,
possibly resulting in critical failures. This paper proposes SPROUT, a Safety
wraPper thROugh ensembles of UncertainTy measures, which suspects
misclassifications by computing uncertainty measures on the inputs and outputs
of a black-box classifier. If a misclassification is detected, SPROUT blocks
the propagation of the output of the classifier to the encompassing system. The
resulting impact on safety is that SPROUT transforms erratic outputs
(misclassifications) into data omission failures, which can be easily managed
at the system level. SPROUT has a broad range of applications as it fits binary
and multi-class classification, comprising image and tabular datasets. We
experimentally show that SPROUT always identifies a huge fraction of the
misclassifications of supervised classifiers, and it is able to detect all
misclassifications in specific cases. SPROUT implementation contains
pre-trained wrappers, it is publicly available and ready to be deployed with
minimal effort.
- Abstract(参考訳): 分類を行う機械学習(ml)アルゴリズムは間違ったクラスを予測し、誤分類を経験する。
誤分類が包含するシステムにカスケード効果をもたらし、致命的な失敗をもたらすことはよく知られている。
本稿では,ブラックボックス分類器の入力と出力に関する不確実性を計算して誤分類を疑う,不確実性対策の安全ラッパースルーアンサンブルであるSPROUTを提案する。
誤分類が検出されると、SPROUTは分類器の出力を包含するシステムへの伝搬をブロックする。
その結果の安全性への影響は、SPROUTがエラー出力(ミスクラス化)をデータ欠落障害に変換し、システムレベルで簡単に管理できることである。
SPROUTは、画像と表のデータセットを含むバイナリとマルチクラスの分類に適合する幅広いアプリケーションを持っている。
実験により,sprout は教師付き分類器の誤分類のごく一部を常に識別し,特定の場合においてすべての誤分類を検出できることを示した。
SPROUTの実装には、トレーニング済みのラッパーが含まれており、公開されており、最小限の労力でデプロイできる。
関連論文リスト
- Collaborative Feature-Logits Contrastive Learning for Open-Set Semi-Supervised Object Detection [75.02249869573994]
オープンセットのシナリオでは、ラベルなしデータセットには、イン・ディストリビューション(ID)クラスとアウト・オブ・ディストリビューション(OOD)クラスの両方が含まれている。
このような設定で半教師付き検出器を適用すると、OODクラスをIDクラスとして誤分類する可能性がある。
我々は、CFL-Detector(Collaborative Feature-Logits Detector)と呼ばれるシンプルで効果的な方法を提案する。
論文 参考訳(メタデータ) (2024-11-20T02:57:35Z) - Credible Teacher for Semi-Supervised Object Detection in Open Scene [106.25850299007674]
Open Scene Semi-Supervised Object Detection (O-SSOD)では、ラベル付きデータはラベル付きデータで観測されていない未知のオブジェクトを含む可能性がある。
より不確実性が、偽ラベルのローカライズと分類精度の低下につながるため、主に自己学習に依存する現在の手法には有害である。
我々は,不確実な擬似ラベルがモデルに誤解をもたらすのを防ぐための,エンドツーエンドのフレームワークであるCredible Teacherを提案する。
論文 参考訳(メタデータ) (2024-01-01T08:19:21Z) - Probabilistic Safety Regions Via Finite Families of Scalable Classifiers [2.431537995108158]
監視された分類は、データのパターンを認識して、振る舞いのクラスを分離する。
正準解は、機械学習の数値近似の性質に固有の誤分類誤差を含む。
本稿では,確率論的安全性領域の概念を導入し,入力空間のサブセットとして,誤分類されたインスタンスの数を確率論的に制御する手法を提案する。
論文 参考訳(メタデータ) (2023-09-08T22:40:19Z) - Complementary Labels Learning with Augmented Classes [22.460256396941528]
補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。
CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。
ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
論文 参考訳(メタデータ) (2022-11-19T13:55:27Z) - When in Doubt: Improving Classification Performance with Alternating
Normalization [57.39356691967766]
分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。
CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。
多様な分類課題にまたがってその効果を実証的に示す。
論文 参考訳(メタデータ) (2021-09-28T02:55:42Z) - Binary Classification from Multiple Unlabeled Datasets via Surrogate Set
Classification [94.55805516167369]
我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。
我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
論文 参考訳(メタデータ) (2021-02-01T07:36:38Z) - Classification with Rejection Based on Cost-sensitive Classification [83.50402803131412]
学習のアンサンブルによる拒絶を用いた新しい分類法を提案する。
実験により, クリーン, ノイズ, 正の未ラベル分類における提案手法の有用性が示された。
論文 参考訳(メタデータ) (2020-10-22T14:05:05Z) - Towards Probability-based Safety Verification of Systems with Components
from Machine Learning [8.75682288556859]
現在、機械学習システムの安全性の検証は不可能か、少なくとも非常に難しいと考えられている。
i) ほとんどのMLアプローチは、そのパワーとエラーの原因の両方である帰納的です。
制御実験により推定された誤差の確率と帰納的学習自体による出力の確率に基づく検証を提案する。
論文 参考訳(メタデータ) (2020-03-02T19:31:37Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳(メタデータ) (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。