論文の概要: Benchmarking Deep Learning Classifiers: Beyond Accuracy

• arxiv url: http://arxiv.org/abs/2103.03102v1
• Date: Tue, 2 Mar 2021 02:10:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-07 23:33:53.156688
• Title: Benchmarking Deep Learning Classifiers: Beyond Accuracy
• Title（参考訳）: 深層学習分類器のベンチマーク
• Authors: Wei Dai, Daniel Berleant
• Abstract要約: 本論文では,深層学習(DL)分類器の堅牢性を測定するために,平均精度と変動係数からなる2次元メトリックを提案する。 mCVと呼ばれる統計的プロットは、テスト画像中の様々な量の不完全性にまたがるDL分類器の性能のロバスト性を可視化することを目的としている。
• 参考スコア（独自算出の注目度）: 3.755462303347159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous research evaluating deep learning (DL) classifiers has often used top-1/top-5 accuracy. However, the accuracy of DL classifiers is unstable in that it often changes significantly when retested on imperfect or adversarial images. This paper adds to the small but fundamental body of work on benchmarking the robustness of DL classifiers on imperfect images by proposing a two-dimensional metric, consisting of mean accuracy and coefficient of variation, to measure the robustness of DL classifiers. Spearman's rank correlation coefficient and Pearson's correlation coefficient are used and their independence evaluated. A statistical plot we call mCV is presented which aims to help visualize the robustness of the performance of DL classifiers across varying amounts of imperfection in tested images. Finally, we demonstrate that defective images corrupted by two-factor corruption could be used to improve the robustness of DL classifiers. All source codes and related image sets are shared on a website (http://www.animpala.com) to support future research projects.
• Abstract（参考訳）: 深層学習(DL)分類器を評価する以前の研究では、top-1/top-5精度がしばしば使用されている。 しかし、DL分類器の精度は不安定であり、不完全または逆の画像で再テストするとしばしば大きく変化する。 本論文は,DL分類器のロバスト性を評価するために,平均精度と変動係数からなる2次元メートル法を提案することによって,不完全画像上でのDL分類器のロバスト性を評価するための,小さいが基本的な作業である。 ピアマンのランク相関係数とピアソンの相関係数を用いて独立性を評価する。 mCVと呼ばれる統計的プロットは、テスト画像中の様々な量の不完全性にまたがるDL分類器の性能のロバスト性を可視化することを目的としている。 最後に,2要素劣化による欠陥画像がDL分類器の堅牢性向上に有効であることを示す。 すべてのソースコードと関連するイメージセットは、将来の研究プロジェクトをサポートするためにウェブサイト(http://www.animpala.com)で共有される。

関連論文リスト

• Few-shot Image Classification based on Gradual Machine Learning [6.935034849731568]
  少ないショット画像分類は、ラベル付きサンプルのみを使用してラベル付きイメージを正確に分類することを目的としている。 段階的機械学習(GML)の非i.dパラダイムに基づく新しいアプローチを提案する。 提案手法は精度でSOTAの性能を1-5%向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-07-28T12:30:41Z)
• Utilizing Class Separation Distance for the Evaluation of Corruption Robustness of Machine Learning Classifiers [0.6882042556551611]
  本稿では,最小クラス分離距離のデータセットから得られるロバストネス距離$epsilon$を使用するテストデータ拡張手法を提案する。 結果として得られるMSCRメトリックは、その破損の堅牢性に関して異なる分類器のデータセット固有の比較を可能にする。 以上の結果から, 単純なデータ拡張によるロバストネストレーニングにより, 精度が若干向上することが示唆された。
  論文  参考訳（メタデータ） (2022-06-27T15:56:16Z)
• Ensemble Classifier Design Tuned to Dataset Characteristics for Network Intrusion Detection [0.0]
  データセットのクラスオーバーラップ問題に対処する2つの新しいアルゴリズムが提案されている。 提案手法は二進分類と多進分類の両方で評価される。
  論文  参考訳（メタデータ） (2022-05-08T21:06:42Z)
• Zero-Shot Logit Adjustment [89.68803484284408]
  Generalized Zero-Shot Learning (GZSL) は意味記述に基づく学習技術である。 本稿では,分類器の改良を無視しつつ,ジェネレータの効果を高める新しい世代ベース手法を提案する。 実験により,提案手法が基本生成器と組み合わせた場合の最先端化を実現し,様々なゼロショット学習フレームワークを改良できることが実証された。
  論文  参考訳（メタデータ） (2022-04-25T17:54:55Z)
• Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
  本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。 因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。 また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
  論文  参考訳（メタデータ） (2022-03-29T13:07:53Z)
• Benchmarking Robustness of Deep Learning Classifiers Using Two-Factor Perturbation [4.016928101928335]
  本稿では,欠陥画像上のDL分類器のロバスト性を評価するための基礎的な研究を付け加える。 クリーンなセット,単一因子摂動のセット,2要素摂動条件のセットを含む,総合的な69のベンチマーク画像セットを作成しました。
  論文  参考訳（メタデータ） (2022-03-02T03:53:21Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。