論文の概要: Not all Failure Modes are Created Equal: Training Deep Neural Networks
for Explicable (Mis)Classification
- arxiv url: http://arxiv.org/abs/2006.14841v2
- Date: Mon, 1 Nov 2021 22:34:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 20:46:45.045983
- Title: Not all Failure Modes are Created Equal: Training Deep Neural Networks
for Explicable (Mis)Classification
- Title(参考訳): すべての障害モードが等しく作成される訳ではない: unlicable (mis)分類のためのディープニューラルネットワークのトレーニング
- Authors: Alberto Olmo, Sailik Sengupta, Subbarao Kambhampati
- Abstract要約: ディープニューラルネットワークは画像分類タスクでは不安定であり、入力を誤分類することが知られている。
本研究では,どのクラスがセマンティックに近いか,遠いクラスに対して人間の期待を捉えるクラスレベルのセマンティクスを得る手法を提案する。
提案手法を用いて既存の分類器を訓練することにより,(1) 上位1の精度,(2) 分布内および分布外の両方のテストデータにおけるより説明可能な障害モード,(3) 追加のラベルの収集に要するコストが大幅に低減されるディープニューラルネットワークが得られることを示す。
- 参考スコア(独自算出の注目度): 23.77783730784988
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks are often brittle on image classification tasks and
known to misclassify inputs. While these misclassifications may be inevitable,
all failure modes cannot be considered equal. Certain misclassifications (eg.
classifying the image of a dog to an airplane) can perplex humans and result in
the loss of human trust in the system. Even worse, these errors (eg. a person
misclassified as a primate) can have odious societal impacts. Thus, in this
work, we aim to reduce inexplicable errors. To address this challenge, we first
discuss methods to obtain the class-level semantics that capture the human's
expectation ($M^h$) regarding which classes are semantically close {\em vs.}
ones that are far away. We show that for popular image benchmarks (like
CIFAR-10, CIFAR-100, ImageNet), class-level semantics can be readily obtained
by leveraging either human subject studies or publicly available human-curated
knowledge bases. Second, we propose the use of Weighted Loss Functions (WLFs)
to penalize misclassifications by the weight of their inexplicability. Finally,
we show that training (or fine-tuning) existing classifiers with the proposed
methods lead to Deep Neural Networks that have (1) comparable top-1 accuracy,
(2) more explicable failure modes on both in-distribution and
out-of-distribution (OOD) test data, and (3) incur significantly less cost in
the gathering of additional human labels compared to existing works.
- Abstract(参考訳): ディープニューラルネットワークは、しばしば画像分類タスクで不安定であり、入力を誤分類することが知られている。
これらの誤分類は避けられないかもしれないが、全ての障害モードは等しく考えることはできない。
特定の誤分類(例えば、犬の画像を飛行機に分類する)は、人間を困惑させ、システムに対する人間の信頼を失う。
さらに悪いことに、これらの誤り(例えば霊長類として誤って分類された人)は、有害な社会的影響をもたらす可能性がある。
そこで本研究では,説明不能な誤りを減らすことを目的とする。
この課題に対処するために、まず、クラスがセマンティックに近いのかという人間の期待を捉えたクラスレベルのセマンティックス(M^h$)を得る方法について議論する。
遠くにあるもの。
CIFAR-10, CIFAR-100, ImageNetなどの画像ベンチマークでは, 人文研究や人文知識ベースを活用すれば, クラスレベルのセマンティクスが容易に得られることを示す。
第二に,重み付き損失関数(WLF)を用いて,不説明性の重みによる誤分類をペナルティ化する手法を提案する。
最後に,提案手法を用いた既存の分類器のトレーニング(あるいは微調整)により,(1)最上位1の精度,(2)分布内および分布外の両方のテストデータにおけるより説明可能な障害モード,(3)既存の研究に比べて人為的ラベルの収集に要するコストが大幅に削減されることを示す。
関連論文リスト
- Mitigating Algorithmic Bias in Multiclass CNN Classifications Using Causal Modeling [0.0]
本研究では,分類問題におけるアルゴリズムバイアスの検出と緩和のために因果モデリングを適用した手法について述べる。
データセットはFairFaceデータセットから派生したもので、DeepFace事前トレーニングモデルによって生成された感情的なラベルが補足されている。
その結果、偏見のある分類は、すべてのクラスで男女の公平性を向上させ、無視できる影響、あるいは全体的な正確性においてわずかに改善した。
論文 参考訳(メタデータ) (2025-01-14T06:51:27Z) - On adversarial training and the 1 Nearest Neighbor classifier [8.248839892711478]
対人訓練の性能を,単純な1NN(Nearest Neighbor)分類器と比較した。
CIFAR10、MNIST、Fashion-MNISTから得られた135種類のバイナリ画像分類問題の実験。
1NNはトレーニング中に使用したものとわずかに異なる摂動に対する堅牢性という点で、ほとんどすべてに優れています。
論文 参考訳(メタデータ) (2024-04-09T13:47:37Z) - Novel Class Discovery without Forgetting [72.52222295216062]
我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。
ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。
CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
論文 参考訳(メタデータ) (2022-07-21T17:54:36Z) - Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。
本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。
我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
論文 参考訳(メタデータ) (2022-06-23T10:25:37Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳(メタデータ) (2021-10-22T01:55:01Z) - eGAN: Unsupervised approach to class imbalance using transfer learning [8.100450025624443]
クラス不均衡は、多くの機械学習分類タスクに固有の問題である。
予め訓練された画像分類モデルからエンコーダベースのGenerative Adversarial Network(eGAN)への転送学習を活用することにより、これらの不均衡に対処するための監督されていないアプローチを検討する。
CIFAR-10分類タスクにおいて0.69 F1-scoreの結果が1:2500の不均衡比で得られた。
論文 参考訳(メタデータ) (2021-04-09T02:37:55Z) - Reinforcement Based Learning on Classification Task Could Yield Better
Generalization and Adversarial Accuracy [0.0]
画像分類タスクを用いて深層学習モデルを訓練する新しい手法を提案する。
強化学習におけるバニラポリシー勾配法に類似した報酬に基づく最適化関数を用いる。
論文 参考訳(メタデータ) (2020-12-08T11:03:17Z) - Learning and Evaluating Representations for Deep One-class
Classification [59.095144932794646]
ディープワンクラス分類のための2段階フレームワークを提案する。
まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。
実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
論文 参考訳(メタデータ) (2020-11-04T23:33:41Z) - Robustness May Be at Odds with Fairness: An Empirical Study on
Class-wise Accuracy [85.20742045853738]
CNNは敵の攻撃に弱いことが広く知られている。
本稿では,対人訓練モデルのクラスワイド精度とロバスト性に関する実証的研究を提案する。
トレーニングデータセットが各クラスに同じ数のサンプルを持つ場合でも,精度と堅牢性にはクラス間差があることが判明した。
論文 参考訳(メタデータ) (2020-10-26T06:32:32Z) - Equalization Loss for Long-Tailed Object Recognition [109.91045951333835]
最先端のオブジェクト検出手法は、大きな語彙と長い尾を持つデータセットでは依然として不十分である。
そこで本稿では,長期的希少なカテゴリーの課題に対処するために,同化損失という,シンプルだが効果的な損失を提案する。
LVISベンチマークでは,レアおよび共通カテゴリのAP利得が4.1%,レアおよび共通カテゴリが4.8%である。
論文 参考訳(メタデータ) (2020-03-11T09:14:53Z) - Utilizing a null class to restrict decision spaces and defend against
neural network adversarial attacks [0.0]
ディープニューラルネットワークは敵の例に弱い。
本研究では、nullクラスを含むモデルをトレーニングする。
ここで提示されるヌルクラスの使用とトレーニングパラダイムは、敵攻撃に対する効果的な防御を提供する可能性がある。
論文 参考訳(メタデータ) (2020-02-24T05:47:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。