論文の概要: Benchmarking Popular Classification Models' Robustness to Random and Targeted Corruptions

• arxiv url: http://arxiv.org/abs/2002.00754v1
• Date: Fri, 31 Jan 2020 11:54:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 06:31:32.419737
• Title: Benchmarking Popular Classification Models' Robustness to Random and Targeted Corruptions
• Title（参考訳）: ランダム・ターゲット破壊に対する人気分類モデルのロバストさのベンチマーク
• Authors: Utkarsh Desai, Srikanth Tamilselvam, Jassimran Kaur, Senthil Mani, Shreya Khare
• Abstract要約: テキスト分類モデル、特にニューラルネットワークベースのモデルは、多くの人気のあるベンチマークデータセットで非常に高い精度に達している。 しかし、そのようなモデルが現実世界のアプリケーションにデプロイされると、パフォーマンスが悪くなります。 これはモデルに依存しないテストデータセットの必要性を強調している。
• 参考スコア（独自算出の注目度）: 9.564145822310897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text classification models, especially neural networks based models, have reached very high accuracy on many popular benchmark datasets. Yet, such models when deployed in real world applications, tend to perform badly. The primary reason is that these models are not tested against sufficient real world natural data. Based on the application users, the vocabulary and the style of the model's input may greatly vary. This emphasizes the need for a model agnostic test dataset, which consists of various corruptions that are natural to appear in the wild. Models trained and tested on such benchmark datasets, will be more robust against real world data. However, such data sets are not easily available. In this work, we address this problem, by extending the benchmark datasets along naturally occurring corruptions such as Spelling Errors, Text Noise and Synonyms and making them publicly available. Through extensive experiments, we compare random and targeted corruption strategies using Local Interpretable Model-Agnostic Explanations(LIME). We report the vulnerabilities in two popular text classification models along these corruptions and also find that targeted corruptions can expose vulnerabilities of a model better than random choices in most cases.
• Abstract（参考訳）: テキスト分類モデル、特にニューラルネットワークに基づくモデルは、多くの人気のあるベンチマークデータセットで非常に高い精度に達している。 しかし、そのようなモデルは現実世界のアプリケーションでデプロイされると、パフォーマンスが悪くなります。 主な理由は、これらのモデルが十分な実世界の自然データに対してテストされないからである。 アプリケーションユーザーに基づいて、モデルの入力の語彙とスタイルは大きく異なるかもしれない。 これはモデルに依存しないテストデータセットの必要性を強調している。 このようなベンチマークデータセットでトレーニングおよびテストされたモデルは、現実世界のデータに対してより堅牢である。 しかし、そのようなデータセットは簡単には利用できない。 そこで本研究では,Spelling Errors, Text Noise, Synonymsなどの自然発生汚職に沿って,ベンチマークデータセットを拡張して公開することにより,この問題に対処する。 広範囲な実験を通じて,LIME(Local Interpretable Model-Agnostic Explanations)を用いたランダムおよびターゲットの汚職戦略を比較した。 これらの腐敗に伴う2つの一般的なテキスト分類モデルの脆弱性を報告し、ターゲットとする腐敗が、ほとんどの場合において、ランダムな選択よりもモデルの脆弱性を露呈する可能性があることも確認します。

関連論文リスト

• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Frequency-Based Vulnerability Analysis of Deep Learning Models against Image Corruptions [48.34142457385199]
  MUFIAは、モデルが失敗する可能性のある特定の種類の汚職を特定するために設計されたアルゴリズムである。 最先端のモデルでさえ、既知の一般的な汚職に対して堅牢であるように訓練されたモデルでさえ、MUFIAによって作られた低視認性ベースの汚職と戦っている。
  論文  参考訳（メタデータ） (2023-06-12T15:19:13Z)
• Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization [34.85353544844499]
  本稿では,DIASUMFACTというファクトエラーアノテーションを用いた最初のデータセットを提案する。 文レベルのマルチラベル分類問題として,ファクト・ファクト・エラー検出を定義する。 事前学習したエンコーダ-デコーダモデルを用いた候補ランキングによる教師なしモデルENDERANKERを提案する。
  論文  参考訳（メタデータ） (2023-05-26T00:18:33Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [74.43215520371506]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• How Does Data Corruption Affect Natural Language Understanding Models? A Study on GLUE datasets [4.645287693363387]
  モデルが微調整されたり、破損したデータでテストされた場合、ほとんどのGLUEタスクのパフォーマンスは高いままである。 提案したデータ変換は,特定のデータセットがモデルの言語理解能力を評価するための適切なテストベッドを構成する範囲を評価するための診断ツールとして利用することができる。
  論文  参考訳（メタデータ） (2022-01-12T13:35:53Z)
• Score-Based Generative Classifiers [9.063815952852783]
  生成モデルは、MNISTのような単純なデータセット上で逆向きに堅牢な分類器として使われてきた。 これまでの結果は、データの可能性と分類精度のトレードオフを示唆している。 スコアに基づく生成モデルは,標準的な識別モデルと比較して,分類精度のギャップを埋めていることを示す。
  論文  参考訳（メタデータ） (2021-10-01T15:05:33Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model Performance [3.7024660695776066]
  データセットがモデルの意味理解能力を評価するための良いテストベッドを構成するかどうかを評価することができる新しい診断テストスイートを提案します。 特に,広く使用されているベンチマーク(mnliおよびanli)に制御された腐敗変換を適用する。 モデル精度の大幅な低下は、元のデータセットがモデルの推論能力に適切な挑戦を提供することを示している。
  論文  参考訳（メタデータ） (2021-04-10T12:28:07Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。