論文の概要: Defuse: Harnessing Unrestricted Adversarial Examples for Debugging Models Beyond Test Accuracy

• arxiv url: http://arxiv.org/abs/2102.06162v1
• Date: Thu, 11 Feb 2021 18:08:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-12 14:09:28.351634
• Title: Defuse: Harnessing Unrestricted Adversarial Examples for Debugging Models Beyond Test Accuracy
• Title（参考訳）: Defuse: テストの正確性を超えたデバッギングモデルの非制限逆例
• Authors: Dylan Slack, Nathalie Rauschmayr, Krishnaram Kenthapadi
• Abstract要約: Defuseは、テストデータ以外のモデルエラーを自動的に検出し、修正する手法である。 本稿では, 生成モデルを用いて, モデルによって誤分類された自然発生事例を探索する逆機械学習手法に着想を得たアルゴリズムを提案する。 Defuseはテストセットの一般化を維持しながら、微調整後のエラーを修正する。
• 参考スコア（独自算出の注目度）: 11.265020351747916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We typically compute aggregate statistics on held-out test data to assess the generalization of machine learning models. However, statistics on test data often overstate model generalization, and thus, the performance of deployed machine learning models can be variable and untrustworthy. Motivated by these concerns, we develop methods to automatically discover and correct model errors beyond those available in the data. We propose Defuse, a method that generates novel model misclassifications, categorizes these errors into high-level model bugs, and efficiently labels and fine-tunes on the errors to correct them. To generate misclassified data, we propose an algorithm inspired by adversarial machine learning techniques that uses a generative model to find naturally occurring instances misclassified by a model. Further, we observe that the generative models have regions in their latent space with higher concentrations of misclassifications. We call these regions misclassification regions and find they have several useful properties. Each region contains a specific type of model bug; for instance, a misclassification region for an MNIST classifier contains a style of skinny 6 that the model mistakes as a 1. We can also assign a single label to each region, facilitating low-cost labeling. We propose a method to learn the misclassification regions and use this insight to both categorize errors and correct them. In practice, Defuse finds and corrects novel errors in classifiers. For example, Defuse shows that a high-performance traffic sign classifier mistakes certain 50km/h signs as 80km/h. Defuse corrects the error after fine-tuning while maintaining generalization on the test set.
• Abstract（参考訳）: 典型的には、ホールドアウトテストデータに関する集計統計を計算し、機械学習モデルの一般化を評価する。 しかし、テストデータの統計はしばしばモデルの一般化を誇張しており、デプロイされた機械学習モデルのパフォーマンスは可変であり、信頼できない。 これらの懸念に乗じて,モデルエラーを自動的に検出し,修正する手法を開発した。 本稿では,新しいモデルの誤分類を生成し,これらのエラーをハイレベルなモデルバグに分類し,エラーを効率的にラベル付けして修正する手法であるdefuseを提案する。 誤分類データを生成するために, 生成モデルを用いて, モデルが誤分類した自然発生事例を見つける逆機械学習技術に着想を得たアルゴリズムを提案する。 さらに, 生成モデルが潜在空間に領域を持ち, 誤分類の濃度が高いことも観察した。 これらの領域を誤分類領域と呼び、有用な特性がいくつかあります。 例えば、MNIST分類器の誤分類領域には、モデルが1としてミスするスキニー6のスタイルが含まれている。 また、各リージョンに1つのラベルを割り当てて、低コストなラベル付けを容易にします。 誤分類領域を学習し,この知見を用いて誤りの分類と修正を行う手法を提案する。 実際には、defuseは分類器で新しいエラーを見つけて修正する。 例えば、defuseは、ハイパフォーマンスな交通標識分類器が特定の50km/hの標識を80km/hと間違えていることを示している。 defuseは、テストセットの一般化を維持しながら微調整後のエラーを修正する。

関連論文リスト

• Automatic Discovery and Assessment of Interpretable Systematic Errors in Semantic Segmentation [0.5242869847419834]
  本稿では,セグメンテーションモデルにおける体系的誤りを発見するための新しい手法を提案する。 マルチモーダル・ファンデーション・モデルを用いてエラーを検索し、誤った性質とともに概念的リンクを用いてこれらのエラーの体系的性質を研究する。 我々の研究は、これまでセマンティックセグメンテーションで過小評価されてきたモデル分析と介入への道を開く。
  論文  参考訳（メタデータ） (2024-11-16T17:31:37Z)
• Small Effect Sizes in Malware Detection? Make Harder Train/Test Splits! [51.668411293817464]
  業界関係者は、モデルが数億台のマシンにデプロイされているため、マルウェア検出精度の小さな改善に気を配っている。 学術研究はしばしば1万のサンプルの順序で公開データセットに制限される。 利用可能なサンプルのプールから難易度ベンチマークを生成するためのアプローチを考案する。
  論文  参考訳（メタデータ） (2023-12-25T21:25:55Z)
• Probabilistic Safety Regions Via Finite Families of Scalable Classifiers [2.431537995108158]
  監視された分類は、データのパターンを認識して、振る舞いのクラスを分離する。 正準解は、機械学習の数値近似の性質に固有の誤分類誤差を含む。 本稿では,確率論的安全性領域の概念を導入し,入力空間のサブセットとして,誤分類されたインスタンスの数を確率論的に制御する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-08T22:40:19Z)
• Misclassification in Automated Content Analysis Causes Bias in Regression. Can We Fix It? Yes We Can! [0.30693357740321775]
  我々は,コミュニケーション学者が誤分類バイアスをほとんど無視していることを,体系的な文献レビューで示している。 既存の統計手法では、人間のアノテータによって作成されたような「金の標準」検証データを使って誤分類バイアスを補正することができる。 我々は、Rパッケージの誤分類モデルの設計と実装を含む、そのような手法を導入し、テストする。
  論文  参考訳（メタデータ） (2023-07-12T23:03:55Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。