論文の概要: Defuse: Harnessing Unrestricted Adversarial Examples for Debugging
Models Beyond Test Accuracy
- arxiv url: http://arxiv.org/abs/2102.06162v1
- Date: Thu, 11 Feb 2021 18:08:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-12 14:09:28.351634
- Title: Defuse: Harnessing Unrestricted Adversarial Examples for Debugging
Models Beyond Test Accuracy
- Title（参考訳）: Defuse: テストの正確性を超えたデバッギングモデルの非制限逆例
- Authors: Dylan Slack, Nathalie Rauschmayr, Krishnaram Kenthapadi
- Abstract要約: Defuseは、テストデータ以外のモデルエラーを自動的に検出し、修正する手法である。
本稿では, 生成モデルを用いて, モデルによって誤分類された自然発生事例を探索する逆機械学習手法に着想を得たアルゴリズムを提案する。
Defuseはテストセットの一般化を維持しながら、微調整後のエラーを修正する。
- 参考スコア（独自算出の注目度）: 11.265020351747916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We typically compute aggregate statistics on held-out test data to assess the
generalization of machine learning models. However, statistics on test data
often overstate model generalization, and thus, the performance of deployed
machine learning models can be variable and untrustworthy. Motivated by these
concerns, we develop methods to automatically discover and correct model errors
beyond those available in the data. We propose Defuse, a method that generates
novel model misclassifications, categorizes these errors into high-level model
bugs, and efficiently labels and fine-tunes on the errors to correct them. To
generate misclassified data, we propose an algorithm inspired by adversarial
machine learning techniques that uses a generative model to find naturally
occurring instances misclassified by a model. Further, we observe that the
generative models have regions in their latent space with higher concentrations
of misclassifications. We call these regions misclassification regions and find
they have several useful properties. Each region contains a specific type of
model bug; for instance, a misclassification region for an MNIST classifier
contains a style of skinny 6 that the model mistakes as a 1. We can also assign
a single label to each region, facilitating low-cost labeling. We propose a
method to learn the misclassification regions and use this insight to both
categorize errors and correct them. In practice, Defuse finds and corrects
novel errors in classifiers. For example, Defuse shows that a high-performance
traffic sign classifier mistakes certain 50km/h signs as 80km/h. Defuse
corrects the error after fine-tuning while maintaining generalization on the
test set.
- Abstract（参考訳）: 典型的には、ホールドアウトテストデータに関する集計統計を計算し、機械学習モデルの一般化を評価する。
しかし、テストデータの統計はしばしばモデルの一般化を誇張しており、デプロイされた機械学習モデルのパフォーマンスは可変であり、信頼できない。
これらの懸念に乗じて,モデルエラーを自動的に検出し,修正する手法を開発した。
本稿では,新しいモデルの誤分類を生成し,これらのエラーをハイレベルなモデルバグに分類し,エラーを効率的にラベル付けして修正する手法であるdefuseを提案する。
誤分類データを生成するために, 生成モデルを用いて, モデルが誤分類した自然発生事例を見つける逆機械学習技術に着想を得たアルゴリズムを提案する。
さらに, 生成モデルが潜在空間に領域を持ち, 誤分類の濃度が高いことも観察した。
これらの領域を誤分類領域と呼び、有用な特性がいくつかあります。
例えば、MNIST分類器の誤分類領域には、モデルが1としてミスするスキニー6のスタイルが含まれている。
また、各リージョンに1つのラベルを割り当てて、低コストなラベル付けを容易にします。
誤分類領域を学習し,この知見を用いて誤りの分類と修正を行う手法を提案する。
実際には、defuseは分類器で新しいエラーを見つけて修正する。
例えば、defuseは、ハイパフォーマンスな交通標識分類器が特定の50km/hの標識を80km/hと間違えていることを示している。
defuseは、テストセットの一般化を維持しながら微調整後のエラーを修正する。
関連論文リスト
- Towards Fine-Grained Information: Identifying the Type and Location of
Translation Errors [80.22825549235556]
既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。
我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。
実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
論文 参考訳（メタデータ） (2023-02-17T16:20:33Z) - Understanding Factual Errors in Summarization: Errors, Summarizers,
Datasets, Error Detectors [101.41859030750364]
我々は、注釈付き要約出力の9つのデータセットからラベル付き事実性エラーを収集する。
次に、ラベル付きエラータイプを単一の分類に統一し、データセットのエラーをそれぞれ共有ラベル付き空間に投影する。
このベンチマークでは、最先端の5つのエラー検出手法を対比する。
論文 参考訳（メタデータ） (2022-05-25T15:26:48Z) - Label-Descriptive Patterns and their Application to Characterizing
Classification Errors [31.272875287136426]
最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。
これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。
本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
論文 参考訳（メタデータ） (2021-10-18T19:42:21Z) - Evaluating State-of-the-Art Classification Models Against Bayes
Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。
われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文 参考訳（メタデータ） (2021-06-07T06:21:20Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Debugging Tests for Model Explanations [18.073554618753395]
テストされたメソッドは、急激なバックグラウンドバグを診断することができるが、誤ってラベル付けされたトレーニング例を決定的に識別することはできない。
被験者は属性を用いて欠陥モデルを特定するのに失敗するが、主にモデル予測に頼っている。
論文 参考訳（メタデータ） (2020-11-10T22:23:25Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳（メタデータ） (2020-10-05T22:13:21Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。