論文の概要: Meaningfully Explaining a Model's Mistakes

• arxiv url: http://arxiv.org/abs/2106.12723v1
• Date: Thu, 24 Jun 2021 01:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-26 06:58:26.307319
• Title: Meaningfully Explaining a Model's Mistakes
• Title（参考訳）: モデルの誤りをうまく説明する
• Authors: Abubakar Abid, James Zou
• Abstract要約: 本稿では,概念的説明スコア (CES) の体系的アプローチを提案する。 CESでは、分類器が特定のテストサンプルに対して、人間の理解可能な概念で間違いを犯す理由を説明している。 また、意図的かつ既知の刺激的な相関関係を持つ新しいモデルをトレーニングしています。
• 参考スコア（独自算出の注目度）: 16.521189362225996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding and explaining the mistakes made by trained models is critical to many machine learning objectives, such as improving robustness, addressing concept drift, and mitigating biases. However, this is often an ad hoc process that involves manually looking at the model's mistakes on many test samples and guessing at the underlying reasons for those incorrect predictions. In this paper, we propose a systematic approach, conceptual explanation scores (CES), that explains why a classifier makes a mistake on a particular test sample(s) in terms of human-understandable concepts (e.g. this zebra is misclassified as a dog because of faint stripes). We base CES on two prior ideas: counterfactual explanations and concept activation vectors, and validate our approach on well-known pretrained models, showing that it explains the models' mistakes meaningfully. We also train new models with intentional and known spurious correlations, which CES successfully identifies from a single misclassified test sample. The code for CES is publicly available and can easily be applied to new models.
• Abstract（参考訳）: トレーニングされたモデルによる誤りの理解と説明は、堅牢性の向上、概念ドリフトへの対処、バイアスの緩和など、多くの機械学習目標にとって重要である。 しかし、これはしばしばアドホックなプロセスであり、多くのテストサンプルでモデルのミスを手動で調べ、それらの誤った予測の根底にある理由を推測する。 本稿では,人間理解可能な概念(例えば,特定のテストサンプルにおいて分類器がミスを犯した理由を説明する,体系的手法である概念説明スコア(ces)を提案する。 このシマウマは、淡い縞模様のため、犬として誤分類される)。 実証的な説明とコンセプトアクティベーションベクトルという2つの先行アイデアをベースとしており、よく知られた事前訓練モデルに対する我々のアプローチを検証することで、モデルの誤りを有意義に説明できることを示しています。 私たちはまた、意図的かつ既知のスプリアス相関を持つ新しいモデルをトレーニングし、cesは1つの誤って分類されたテストサンプルから識別することに成功しました。 CESのコードは公開されており、新しいモデルにも簡単に適用できる。

関連論文リスト

• CLIMAX: An exploration of Classifier-Based Contrastive Explanations [5.381004207943597]
  我々は,ブラックボックスの分類を正当化する対照的な説明を提供する,ポストホックモデルXAI手法を提案する。 CLIMAXと呼ばれる手法は,局所的な分類法に基づく。 LIME, BayLIME, SLIMEなどのベースラインと比較して, 一貫性が向上することを示す。
  論文  参考訳（メタデータ） (2023-07-02T22:52:58Z)
• Explaining Reject Options of Learning Vector Quantization Classifiers [6.125017875330933]
  本稿では,機械学習モデルにおけるリジェクトの説明に反事実的説明を用いることを提案する。 重要なモデルのクラスに対して、異なる拒絶オプションの反実的説明を効率的に計算する方法を検討する。
  論文  参考訳（メタデータ） (2022-02-15T08:16:10Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
  画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。 モデル予測の提示により,人間の精度が向上することが判明した。 しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
  論文  参考訳（メタデータ） (2020-07-23T20:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。