論文の概要: The Disagreement Problem in Explainable Machine Learning: A Practitioner's Perspective

• arxiv url: http://arxiv.org/abs/2202.01602v2
• Date: Fri, 4 Feb 2022 01:46:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-07 12:32:06.294556
• Title: The Disagreement Problem in Explainable Machine Learning: A Practitioner's Perspective
• Title（参考訳）: 説明可能な機械学習における不一致問題--実践者の視点から
• Authors: Satyapriya Krishna, Tessa Han, Alex Gu, Javin Pombra, Shahin Jabbari, Steven Wu, Himabindu Lakkaraju
• Abstract要約: 本稿では、説明可能な機械学習における不一致問題を紹介し、研究する。 このような不一致が実際にどれだけ頻繁に起こるか、そして、実践者がこれらの不一致をどのように解決するかを分析する。 以上の結果から, 現状説明法は, それらが出力する説明法と矛盾することが多いことが示唆された。
• 参考スコア（独自算出の注目度）: 13.716889671923598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As various post hoc explanation methods are increasingly being leveraged to explain complex models in high-stakes settings, it becomes critical to develop a deeper understanding of if and when the explanations output by these methods disagree with each other, and how such disagreements are resolved in practice. However, there is little to no research that provides answers to these critical questions. In this work, we introduce and study the disagreement problem in explainable machine learning. More specifically, we formalize the notion of disagreement between explanations, analyze how often such disagreements occur in practice, and how do practitioners resolve these disagreements. To this end, we first conduct interviews with data scientists to understand what constitutes disagreement between explanations generated by different methods for the same model prediction, and introduce a novel quantitative framework to formalize this understanding. We then leverage this framework to carry out a rigorous empirical analysis with four real-world datasets, six state-of-the-art post hoc explanation methods, and eight different predictive models, to measure the extent of disagreement between the explanations generated by various popular explanation methods. In addition, we carry out an online user study with data scientists to understand how they resolve the aforementioned disagreements. Our results indicate that state-of-the-art explanation methods often disagree in terms of the explanations they output. Our findings also underscore the importance of developing principled evaluation metrics that enable practitioners to effectively compare explanations.
• Abstract（参考訳）: 様々なポストホックな説明法が、ハイテイクな設定で複雑なモデルを説明するためにますます活用されているため、これらの方法によって出力される説明が互いに相反するかどうか、実際にどのように解決されるのかについて、より深く理解することが重要である。 しかし、これらの批判的な疑問に答える研究はほとんど、あるいは全くない。 本稿では,説明可能な機械学習における不一致問題を紹介し,検討する。 より具体的には、説明間の不一致の概念を定式化し、そのような不一致が実際にどれだけ頻繁に起こるかを分析し、実践者がこれらの不一致を解決する方法について分析する。 そこで我々はまずデータサイエンティストとのインタビューを行い、同じモデル予測のための異なる手法による説明の相違について理解し、この理解を形式化する新しい定量的枠組みを導入する。 次に,このフレームワークを用いて4つの実世界のデータセット,6つの最先端のhoc説明法,8つの異なる予測モデルを用いた厳密な経験的分析を行い,様々な一般的な説明法によって生成された説明間の不一致の程度を測定する。 さらに、上記の不一致を解決する方法を理解するために、データサイエンティストとオンラインユーザスタディを実施している。 以上の結果から, 現状説明法は, それらが出力する説明法と矛盾することが多いことが示唆された。 また,実践者が説明を効果的に比較できる原則評価指標の開発の重要性も強調した。

関連論文リスト

• EXAGREE: Towards Explanation Agreement in Explainable Machine Learning [0.0]
  機械学習における説明は、信頼、透明性、公平性に不可欠である。 本稿では,説明可能な機械学習における多種多様な解釈を橋渡しする新しいフレームワークであるExplanation AGREEmentを紹介する。
  論文  参考訳（メタデータ） (2024-11-04T10:28:38Z)
• Visualizing and Understanding Contrastive Learning [22.553990823550784]
  一対のイメージから類似性学習タスクを理解するのに寄与する視覚的説明法を設計する。 また、画像分類システムの視覚的説明を評価するために用いられる既存のメトリクスを、一対の説明に適合させる。
  論文  参考訳（メタデータ） (2022-06-20T13:01:46Z)
• Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
  テキストデータ上でのサリエンシに基づく説明について検討する。 人はしばしば説明を誤って解釈する。 本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-27T15:20:32Z)
• On the overlooked issue of defining explanation objectives for local-surrogate explainers [5.094061357656677]
  機械学習モデル予測を説明するローカルサロゲートアプローチには、魅力的な性質がある。 この記述に適合し、この目標を共有するいくつかの方法が存在する。 本研究の目的は, 合意の欠如, 明確さの欠如が, 説明可能性の研究・実践に与える影響について考察することである。
  論文  参考訳（メタデータ） (2021-06-10T15:24:49Z)
• Individual Explanations in Machine Learning Models: A Case Study on Poverty Estimation [63.18666008322476]
  機械学習の手法は、敏感な社会的文脈でますます適用されつつある。 本研究の主な目的は2つある。 まず、これらの課題を公開し、関連性のある新しい説明方法の使用にどのように影響するか。 次に、関連するアプリケーションドメインで説明メソッドを実装する際に直面するような課題を軽減する一連の戦略を提示します。
  論文  参考訳（メタデータ） (2021-04-09T01:54:58Z)
• Explainers in the Wild: Making Surrogate Explainers Robust to Distortions through Perception [77.34726150561087]
  説明における歪みの影響を知覚距離を埋め込むことで評価する手法を提案する。 Imagenet-Cデータセットの画像の説明を生成し、サロゲート説明書の知覚距離を使用して歪んだ画像と参照画像のより一貫性のある説明を作成する方法を示しています。
  論文  参考訳（メタデータ） (2021-02-22T12:38:53Z)
• Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
  本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。 説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
  論文  参考訳（メタデータ） (2020-12-01T23:40:21Z)
• Explaining by Removing: A Unified Framework for Model Explanation [14.50261153230204]
  削除に基づく説明は、各特徴の影響を定量化するための特徴除去をシミュレートする原則に基づいている。 1) メソッドが特徴を除去する方法,2) メソッドが説明するモデル動作,3) メソッドがそれぞれの特徴の影響を要約する方法,の3つの側面に沿って各メソッドを特徴付けるフレームワークを開発する。 新たに理解された説明手法のクラスは、説明可能性の文献にほとんど見落とされたツールを用いて、豊富なつながりを持つ。
  論文  参考訳（メタデータ） (2020-11-21T00:47:48Z)
• Towards Interpretable Reasoning over Paragraph Effects in Situation [126.65672196760345]
  我々は,原因と効果を理解するためのモデルを必要とする状況において,段落効果を推論する作業に焦点をあてる。 本稿では,ニューラルネットワークモジュールを用いた推論プロセスの各ステップを明示的にモデル化する逐次的手法を提案する。 特に、5つの推論モジュールはエンドツーエンドで設計され、学習され、より解釈可能なモデルにつながる。
  論文  参考訳（メタデータ） (2020-10-03T04:03:52Z)
• Explaining Data-Driven Decisions made by AI Systems: The Counterfactual Approach [11.871523410051527]
  我々は、その決定を因果的に駆動するシステムのデータ入力の集合として、説明を考察する。 モデル予測において重要な重みを持つ特徴が対応する決定に影響を及ぼさない可能性があることを示す。
  論文  参考訳（メタデータ） (2020-01-21T09:58:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。