論文の概要: The Disagreement Problem in Explainable Machine Learning: A Practitioner's Perspective

• arxiv url: http://arxiv.org/abs/2202.01602v4
• Date: Mon, 8 Jul 2024 12:11:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 06:02:09.155241
• Title: The Disagreement Problem in Explainable Machine Learning: A Practitioner's Perspective
• Title（参考訳）: 説明可能な機械学習における診断問題--実践者の立場から
• Authors: Satyapriya Krishna, Tessa Han, Alex Gu, Steven Wu, Shahin Jabbari, Himabindu Lakkaraju,
• Abstract要約: 説明可能な機械学習における不一致問題について検討する。 まずデータサイエンティストにインタビューを行い、説明の相違点を理解する。 そして、このフレームワークを利用して、4つの実世界のデータセットで厳密な経験分析を行います。
• 参考スコア（独自算出の注目度）: 36.434727068776965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As various post hoc explanation methods are increasingly being leveraged to explain complex models in high-stakes settings, it becomes critical to develop a deeper understanding of if and when the explanations output by these methods disagree with each other, and how such disagreements are resolved in practice. However, there is little to no research that provides answers to these critical questions. In this work, we introduce and study the disagreement problem in explainable machine learning. More specifically, we formalize the notion of disagreement between explanations, analyze how often such disagreements occur in practice, and how practitioners resolve these disagreements. We first conduct interviews with data scientists to understand what constitutes disagreement between explanations generated by different methods for the same model prediction and introduce a novel quantitative framework to formalize this understanding. We then leverage this framework to carry out a rigorous empirical analysis with four real-world datasets, six state-of-the-art post hoc explanation methods, and six different predictive models, to measure the extent of disagreement between the explanations generated by various popular explanation methods. In addition, we carry out an online user study with data scientists to understand how they resolve the aforementioned disagreements. Our results indicate that (1) state-of-the-art explanation methods often disagree in terms of the explanations they output, and (2) machine learning practitioners often employ ad hoc heuristics when resolving such disagreements. These findings suggest that practitioners may be relying on misleading explanations when making consequential decisions. They also underscore the importance of developing principled frameworks for effectively evaluating and comparing explanations output by various explanation techniques.
• Abstract（参考訳）: 様々なポストホックな説明法が、ハイテイクな設定で複雑なモデルを説明するためにますます活用されているため、これらの方法によって出力される説明が互いに相反するかどうか、実際にどのように解決されるのかについて、より深く理解することが重要である。 しかし、これらの批判的な疑問に答える研究はほとんど、あるいは全くない。 本研究では、説明可能な機械学習における不一致問題を紹介し、研究する。 より具体的には、説明間の不一致の概念を形式化し、そのような不一致が実際にどれだけ頻繁に起こるか、そして実践者がこれらの不一致を解決する方法について分析する。 まずデータ科学者とのインタビューを行い、同じモデル予測のための異なる手法によって生成された説明の相違について理解し、この理解を形式化する新しい定量的枠組みを導入する。 次に、このフレームワークを利用して、4つの実世界のデータセット、6つの最先端のポストホック説明法、6つの異なる予測モデルを用いて厳密な実証分析を行い、様々な一般的な説明法によって生成された説明間の不一致の程度を測定する。 さらに、上記の不一致を解決する方法を理解するために、データサイエンティストとオンラインユーザスタディを実施している。 以上の結果から,(1)最先端の説明手法は,出力する説明の観点からは相反することが多く,(2)機械学習実践者は,その相違を解消する際に,アドホックなヒューリスティックスを用いることが多いことが示唆された。 これらの結果から, 実践者は適切な判断を下す際に, 誤解を招く説明に頼っている可能性が示唆された。 彼らはまた、様々な説明技法によって出力される説明を効果的に評価し比較するための原則化されたフレームワークを開発することの重要性を強調している。

関連論文リスト

• Dissenting Explanations: Leveraging Disagreement to Reduce Model Overreliance [5.5769831014164675]
  本稿では, 矛盾する説明, 付随する説明と矛盾する予測について紹介する。 まず、モデル乗法の設定における不一致の説明の利点を考察する。 本研究では,不一致説明が全体の精度を低下させることなく,モデル予測の過度な信頼性を低下させることを実証する。
  論文  参考訳（メタデータ） (2023-07-14T21:27:00Z)
• Visualizing and Understanding Contrastive Learning [22.553990823550784]
  一対のイメージから類似性学習タスクを理解するのに寄与する視覚的説明法を設計する。 また、画像分類システムの視覚的説明を評価するために用いられる既存のメトリクスを、一対の説明に適合させる。
  論文  参考訳（メタデータ） (2022-06-20T13:01:46Z)
• Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
  テキストデータ上でのサリエンシに基づく説明について検討する。 人はしばしば説明を誤って解釈する。 本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-27T15:20:32Z)
• On the overlooked issue of defining explanation objectives for local-surrogate explainers [5.094061357656677]
  機械学習モデル予測を説明するローカルサロゲートアプローチには、魅力的な性質がある。 この記述に適合し、この目標を共有するいくつかの方法が存在する。 本研究の目的は, 合意の欠如, 明確さの欠如が, 説明可能性の研究・実践に与える影響について考察することである。
  論文  参考訳（メタデータ） (2021-06-10T15:24:49Z)
• Individual Explanations in Machine Learning Models: A Case Study on Poverty Estimation [63.18666008322476]
  機械学習の手法は、敏感な社会的文脈でますます適用されつつある。 本研究の主な目的は2つある。 まず、これらの課題を公開し、関連性のある新しい説明方法の使用にどのように影響するか。 次に、関連するアプリケーションドメインで説明メソッドを実装する際に直面するような課題を軽減する一連の戦略を提示します。
  論文  参考訳（メタデータ） (2021-04-09T01:54:58Z)
• Explainers in the Wild: Making Surrogate Explainers Robust to Distortions through Perception [77.34726150561087]
  説明における歪みの影響を知覚距離を埋め込むことで評価する手法を提案する。 Imagenet-Cデータセットの画像の説明を生成し、サロゲート説明書の知覚距離を使用して歪んだ画像と参照画像のより一貫性のある説明を作成する方法を示しています。
  論文  参考訳（メタデータ） (2021-02-22T12:38:53Z)
• Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
  本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。 説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
  論文  参考訳（メタデータ） (2020-12-01T23:40:21Z)
• Explaining by Removing: A Unified Framework for Model Explanation [14.50261153230204]
  削除に基づく説明は、各特徴の影響を定量化するための特徴除去をシミュレートする原則に基づいている。 1) メソッドが特徴を除去する方法,2) メソッドが説明するモデル動作,3) メソッドがそれぞれの特徴の影響を要約する方法,の3つの側面に沿って各メソッドを特徴付けるフレームワークを開発する。 新たに理解された説明手法のクラスは、説明可能性の文献にほとんど見落とされたツールを用いて、豊富なつながりを持つ。
  論文  参考訳（メタデータ） (2020-11-21T00:47:48Z)
• Towards Interpretable Reasoning over Paragraph Effects in Situation [126.65672196760345]
  我々は,原因と効果を理解するためのモデルを必要とする状況において,段落効果を推論する作業に焦点をあてる。 本稿では,ニューラルネットワークモジュールを用いた推論プロセスの各ステップを明示的にモデル化する逐次的手法を提案する。 特に、5つの推論モジュールはエンドツーエンドで設計され、学習され、より解釈可能なモデルにつながる。
  論文  参考訳（メタデータ） (2020-10-03T04:03:52Z)
• Explaining Data-Driven Decisions made by AI Systems: The Counterfactual Approach [11.871523410051527]
  我々は、その決定を因果的に駆動するシステムのデータ入力の集合として、説明を考察する。 モデル予測において重要な重みを持つ特徴が対応する決定に影響を及ぼさない可能性があることを示す。
  論文  参考訳（メタデータ） (2020-01-21T09:58:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。