論文の概要: Utilizing Class Separation Distance for the Evaluation of Corruption
Robustness of Machine Learning Classifiers
- arxiv url: http://arxiv.org/abs/2206.13405v1
- Date: Mon, 27 Jun 2022 15:56:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 18:34:21.439547
- Title: Utilizing Class Separation Distance for the Evaluation of Corruption
Robustness of Machine Learning Classifiers
- Title（参考訳）: 機械学習分類器の破壊ロバスト性評価のためのクラス分離距離の利用
- Authors: Georg Siedel, Silvia Vock, Andrey Morozov, Stefan Vo{\ss}
- Abstract要約: 本稿では,最小クラス分離距離のデータセットから得られるロバストネス距離$epsilon$を使用するテストデータ拡張手法を提案する。
結果として得られるMSCRメトリックは、その破損の堅牢性に関して異なる分類器のデータセット固有の比較を可能にする。
以上の結果から, 単純なデータ拡張によるロバストネストレーニングにより, 精度が若干向上することが示唆された。
- 参考スコア（独自算出の注目度）: 0.6882042556551611
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robustness is a fundamental pillar of Machine Learning (ML) classifiers,
substantially determining their reliability. Methods for assessing classifier
robustness are therefore essential. In this work, we address the challenge of
evaluating corruption robustness in a way that allows comparability and
interpretability on a given dataset. We propose a test data augmentation method
that uses a robustness distance $\epsilon$ derived from the datasets minimal
class separation distance. The resulting MSCR (mean statistical corruption
robustness) metric allows a dataset-specific comparison of different
classifiers with respect to their corruption robustness. The MSCR value is
interpretable, as it represents the classifiers avoidable loss of accuracy due
to statistical corruptions. On 2D and image data, we show that the metric
reflects different levels of classifier robustness. Furthermore, we observe
unexpected optima in classifiers robust accuracy through training and testing
classifiers with different levels of noise. While researchers have frequently
reported on a significant tradeoff on accuracy when training robust models, we
strengthen the view that a tradeoff between accuracy and corruption robustness
is not inherent. Our results indicate that robustness training through simple
data augmentation can already slightly improve accuracy.
- Abstract（参考訳）: ロバストネスは機械学習(ML)分類の基本的な柱であり、その信頼性を決定づけている。
したがって分類器の堅牢性を評価する方法が不可欠である。
本研究では、あるデータセットにおけるコンパラビリティと解釈可能性を実現する方法で、腐敗の堅牢性を評価するという課題に対処する。
本稿では,データセットの最小クラス分離距離に由来するロバストネス距離$\epsilon$を用いたテストデータ拡張手法を提案する。
結果として得られるMSCR(統計的な汚いロバスト性)の計量は、その汚いロバスト性に関して異なる分類器のデータセット固有の比較を可能にする。
mscr値は、統計的な腐敗による精度の損失を回避できる分類器を表すため、解釈可能である。
2D と画像データでは,測定値が異なる分類器の堅牢性を反映していることが示されている。
さらに,雑音レベルの異なる分類器の訓練および試験により,分類器の予期せぬ最適性を確認する。
研究者は、ロバストモデルのトレーニングにおいて正確性に関する重要なトレードオフを頻繁に報告しているが、正確性と腐敗の堅牢性の間のトレードオフは本質的ではないという見解を強化している。
以上の結果から, 単純なデータ拡張によるロバストネストレーニングにより, 精度が若干向上することが示唆された。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Investigating the Corruption Robustness of Image Classifiers with Random
Lp-norm Corruptions [3.1337872355726084]
本研究では,画像分類器のトレーニングデータとテストデータを強化するために,ランダムなp-ノルム汚職を用いることを検討した。
p-ノルムの汚職の組み合わせによるトレーニングデータの増大は、最先端のデータ増補スキームにおいても、汚職の堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2023-05-09T12:45:43Z) - Characterizing the Optimal 0-1 Loss for Multi-class Classification with
a Test-time Attacker [57.49330031751386]
我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。
本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-21T15:17:13Z) - Confidence-aware Training of Smoothed Classifiers for Certified
Robustness [75.95332266383417]
我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。
実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
論文 参考訳（メタデータ） (2022-12-18T03:57:12Z) - Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
強靭性と精度のトレードオフは、敵文学において広く研究されている。
局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。
定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
論文 参考訳（メタデータ） (2022-02-21T10:36:09Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Classification and Uncertainty Quantification of Corrupted Data using
Semi-Supervised Autoencoders [11.300365160909879]
本稿では,強い破損したデータを分類し,不確実性を定量化する確率論的手法を提案する。
破損しないデータに基づいてトレーニングされた半教師付きオートエンコーダが基盤となるアーキテクチャである。
モデルの不確実性は、その分類が正しいか間違っているかに強く依存していることを示す。
論文 参考訳（メタデータ） (2021-05-27T18:47:55Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z) - On the Role of Dataset Quality and Heterogeneity in Model Confidence [27.657631193015252]
安全クリティカルなアプリケーションは、正確で校正された確率を出力する機械学習モデルを必要とする。
未分類のディープネットワークは、過度に信頼された予測をすることが知られている。
本研究では,データセットサイズとラベルノイズがモデルの信頼性に与える影響について検討した。
論文 参考訳（メタデータ） (2020-02-23T05:13:12Z) - Variational Encoder-based Reliable Classification [5.161531917413708]
本稿では,トレーニングデータセットと再建の質を用いて,その信念の正当性を証明できる疫学(EC)を提案する。
提案手法は,意味的に意味のある低次元空間を識別できる変分オートエンコーダに基づく。
その結果, 予測の信頼性が向上し, 対向攻撃を伴う試料の堅牢な同定が可能となった。
論文 参考訳（メタデータ） (2020-02-19T17:05:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。