論文の概要: Studying the explanations for the automated prediction of bug and non-bug issues using LIME and SHAP

• arxiv url: http://arxiv.org/abs/2209.07623v1
• Date: Thu, 15 Sep 2022 21:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 13:34:22.130344
• Title: Studying the explanations for the automated prediction of bug and non-bug issues using LIME and SHAP
• Title（参考訳）: limeとshapを用いたバグおよび非バグ問題の自動予測のための説明の研究
• Authors: Benjamin Ledel and Steffen Herbold
• Abstract要約: 機械学習モデルが、人間として私たちにとって妥当な分類の説明を提供するかどうかを理解したい。 また、予測品質が説明の質と相関しているかどうかも知りたい。
• 参考スコア（独自算出の注目度）: 7.792303263390021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Context: The identification of bugs within the reported issues in an issue tracker is crucial for the triage of issues. Machine learning models have shown promising results regarding the performance of automated issue type prediction. However, we have only limited knowledge beyond our assumptions how such models identify bugs. LIME and SHAP are popular technique to explain the predictions of classifiers. Objective: We want to understand if machine learning models provide explanations for the classification that are reasonable to us as humans and align with our assumptions of what the models should learn. We also want to know if the prediction quality is correlated with the quality of explanations. Method: We conduct a study where we rate LIME and SHAP explanations based on their quality of explaining the outcome of an issue type prediction model. For this, we rate the quality of the explanations themselves, i.e., if they align with our expectations and if they help us to understand the underlying machine learning model.
• Abstract（参考訳）: コンテキスト: 問題トラッカーにおける報告された問題内のバグの特定は、問題のトリアージに不可欠です。 機械学習モデルは、自動イシュータイプ予測のパフォーマンスに関する有望な結果を示している。 しかし、そのようなモデルがどのようにバグを特定するかという仮定以上の知識は限られています。 LIMEとSHAPは分類器の予測を説明する一般的な手法である。 目的: マシンラーニングモデルが私たち人間として妥当な分類の説明を提供し、モデルが何を学べるかという仮定に合致するかどうかを理解したい。 また、予測品質が説明の質と相関しているかどうかも知りたい。 方法: 課題型予測モデルの結果を説明する品質に基づいて, LIME と SHAP の説明を評価検討する。 このために、私たちは説明自体の品質を評価します。つまり、それが私たちの期待に合致し、基礎となる機械学習モデルを理解するのに役立ちます。

関連論文リスト

• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Predictability and Comprehensibility in Post-Hoc XAI Methods: A User-Centered Analysis [6.606409729669314]
  ポストホック説明可能性法は、ブラックボックス機械学習モデルの予測を明らかにすることを目的としている。 我々は、LIMEとSHAPの2つの広く使われているツールにおいて、理解性と予測可能性を評価するために、ユーザスタディを実施している。 モデル決定境界付近のサンプルに対して説明を行うと,SHAPの理解度が大幅に低下することがわかった。
  論文  参考訳（メタデータ） (2023-09-21T11:54:20Z)
• Explaining Hate Speech Classification with Model Agnostic Methods [0.9990687944474738]
  本研究の目的は、ヘイトスピーチ予測と、その決定を支援するためにシステムによって生成された説明とのギャップを埋めることである。 これは、まずテキストの分類を予測し、その後、ポストホック、モデル非依存、代理的解釈可能性アプローチを提供することによって達成されている。
  論文  参考訳（メタデータ） (2023-05-30T19:52:56Z)
• Explaining Predictions from Machine Learning Models: Algorithms, Users, and Pedagogy [3.42658286826597]
  説明は、MLモデルが特定の予測を行う理由だけでなく、これらの予測をどのように変更するかを理解するのに役立つ。 本稿では,アルゴリズム,ユーザ,教育の3点からMLモデルの説明可能性について考察する。
  論文  参考訳（メタデータ） (2022-09-12T08:36:35Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Explainable Artificial Intelligence: How Subsets of the Training Data Affect a Prediction [2.3204178451683264]
  データサブセットの重要性をトレーニングするためにShapley値と呼ぶ新しい方法論を提案します。 提案手法を用いて,モデルの偏りや誤ったトレーニングデータを明らかにする方法を示す。 この説明は、アルゴリズムの内部動作をより認識し、同様の予測を生成するモデルがトレーニングデータの非常に異なる部分に基づいている方法を説明することを可能にすると主張しています。
  論文  参考訳（メタデータ） (2020-12-07T12:15:47Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
  画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。 モデル予測の提示により,人間の精度が向上することが判明した。 しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
  論文  参考訳（メタデータ） (2020-07-23T20:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。