論文の概要: Black Box Model Explanations and the Human Interpretability Expectations -- An Analysis in the Context of Homicide Prediction

• arxiv url: http://arxiv.org/abs/2210.10849v1
• Date: Wed, 19 Oct 2022 19:23:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 13:49:50.011519
• Title: Black Box Model Explanations and the Human Interpretability Expectations -- An Analysis in the Context of Homicide Prediction
• Title（参考訳）: ブラックボックスモデルの説明と人間の解釈可能性期待 -殺人予測の文脈における分析-
• Authors: Jos\'e Ribeiro, N\'ikolas Carneiro and Ronnie Alves
• Abstract要約: XAIは、ブラックボックス機械学習モデルの結果のより優れた人間の解釈可能性を促進する。 現在の研究は、これらの説明が人間の専門家の解釈可能性への期待をどのように満たすか、さらなる研究の必要性を指摘している。 本研究は、殺人予測に関連する現実世界の分類問題に対処する。
• 参考スコア（独自算出の注目度）: 1.1602089225841632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Strategies based on Explainable Artificial Intelligence - XAI have promoted better human interpretability of the results of black box machine learning models. The XAI measures being currently used (Ciu, Dalex, Eli5, Lofo, Shap, and Skater) provide various forms of explanations, including global rankings of relevance of attributes. Current research points to the need for further studies on how these explanations meet the Interpretability Expectations of human experts and how they can be used to make the model even more transparent while taking into account specific complexities of the model and dataset being analyzed, as well as important human factors of sensitive real-world contexts/problems. Intending to shed light on the explanations generated by XAI measures and their interpretabilities, this research addresses a real-world classification problem related to homicide prediction, duly endorsed by the scientific community, replicated its proposed black box model and used 6 different XAI measures to generate explanations and 6 different human experts to generate what this research referred to as Interpretability Expectations - IE. The results were computed by means of comparative analysis and identification of relationships among all the attribute ranks produced, and ~49% concordance was found among attributes indicated by means of XAI measures and human experts, ~41% exclusively by XAI measures and ~10% exclusively by human experts. The results allow for answering: "Do the different XAI measures generate similar explanations for the proposed problem?", "Are the interpretability expectations generated among different human experts similar?", "Do the explanations generated by XAI measures meet the interpretability expectations of human experts?" and "Can Interpretability Explanations and Expectations work together?", all of which concerning the context of homicide prediction.
• Abstract（参考訳）: 説明可能な人工知能に基づく戦略 - XAIは、ブラックボックス機械学習モデルの結果のより良い人間の解釈可能性を促進する。 現在使われているXAI対策(Ciu、Dalex、Eli5、Lofo、Shap、Skater)は、属性の関連性に関する世界的ランキングを含む様々な説明を提供する。 最近の研究では、これらの説明が人間の専門家の解釈可能性の期待をどのように満たしているか、分析されるモデルやデータセットの特定の複雑さや、センシティブな現実世界のコンテキスト/問題の重要なヒューマンファクターを考慮しながら、モデルをより透明にするためにどのように使用されるのか、さらなる研究の必要性を指摘している。 本研究は、XAI測度とその解釈可能性から生じる説明を隠蔽するため、科学的コミュニティによって正式に支持された殺人予測に関連する現実世界の分類問題に対処し、提案されたブラックボックスモデルを再現し、6つの異なるXAI測度を用いて説明を生成するとともに、6つの異なる人間専門家を用いて、この研究を解釈可能性予測(Interpretability expectationsIE)と呼ぶものを生成する。 その結果,すべての属性ランク間の関係を比較分析・同定し,xai対策と人間専門家が示す属性のうち約49%,xai対策が約41%,人間専門家が10%の一致を示した。 結果は,「異なるXAI尺度は,提案された問題に対して同様の説明を生成するか」「異なる人間の専門家の間で生じる解釈可能性の期待は類似しているか」「XAI尺度が生み出す説明は,人間の専門家の解釈可能性の期待に合致しているか」「Can Interpretability Explanations and expectations working?」と答える。

関連論文リスト

• How Reliable and Stable are Explanations of XAI Methods? [0.4749981032986242]
  ブラックボックスモデルは、社会の中で生活している人間の日常生活にますます使われている。 XAI(Explainable Artificial Intelligence)メソッドが登場し、モデルが特定の予測を行う方法に関するさらなる説明が生まれている。 その結果、現在のXAI法は1つの特定の方法を除いて摂動に敏感であることが判明した。
  論文  参考訳（メタデータ） (2024-07-03T13:47:41Z)
• Unraveling the Dilemma of AI Errors: Exploring the Effectiveness of Human and Machine Explanations for Large Language Models [8.863857300695667]
  質問応答課題において, 人文文156件と, サリエンシに基づく説明文について分析した。 以上の結果から,人間の唾液マップは,機械の唾液マップよりもAIの回答を説明するのに有用であることが示唆された。 この発見は、説明におけるAIエラーのジレンマを示唆するものであり、役に立つ説明は、間違ったAI予測をサポートする場合にタスクパフォーマンスを低下させる可能性がある。
  論文  参考訳（メタデータ） (2024-04-11T13:16:51Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Diagnosing AI Explanation Methods with Folk Concepts of Behavior [70.10183435379162]
  我々は「成功」は、その説明がどんな情報を含むかだけでなく、人間の説明者がどのような情報から理解するかにも依存すると考えている。 我々は、人間の説明による社会的帰属の枠組みとして、行動の民意的概念を用いる。
  論文  参考訳（メタデータ） (2022-01-27T00:19:41Z)
• CX-ToM: Counterfactual Explanations with Theory-of-Mind for Enhancing Human Trust in Image Recognition Models [84.32751938563426]
  我々は、深層畳み込みニューラルネットワーク(CNN)による決定を説明するための、新しい説明可能なAI(XAI)フレームワークを提案する。 単発応答として説明を生成するXAIの現在の手法とは対照的に,我々は反復的な通信プロセスとして説明を行う。 本フレームワークは,機械の心と人間の心の相違を媒介し,対話における説明文のシーケンスを生成する。
  論文  参考訳（メタデータ） (2021-09-03T09:46:20Z)
• The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
  私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。 その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
  論文  参考訳（メタデータ） (2021-07-28T17:32:04Z)
• A Turing Test for Transparency [0.0]
  説明可能な人工知能(XAI)の中心的な目標は、人間とAIのインタラクションにおける信頼関係を改善することである。 最近の実証的な証拠は、説明が反対の効果を持つことを示している。 この効果はXAIの目的に挑戦し、透明なAI手法の責任ある使用には、人間が人間の説明から生成された機械を区別する能力を考慮する必要があることを示唆している。
  論文  参考訳（メタデータ） (2021-06-21T20:09:40Z)
• Argumentative XAI: A Survey [15.294433619347082]
  計算論の分野からの手法を用いて構築したXAI手法の概要を概説する。 私たちは、さまざまなタイプの説明(本質的およびポストホック的)、議論に基づく説明がデプロイされるさまざまなモデル、デリバリの異なる形式、それらが使用する議論フレームワークに焦点を当てます。
  論文  参考訳（メタデータ） (2021-05-24T13:32:59Z)
• Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond [49.93153180169685]
  一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。 我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。 信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
  論文  参考訳（メタデータ） (2021-03-19T08:40:30Z)
• Challenging common interpretability assumptions in feature attribution explanations [0.0]
  大規模な人・物体実験により,3つの共通解釈可能性仮定の妥当性を実証的に評価した。 特徴帰属の説明は、人間の意思決定者にとって、我々のタスクに限界効用をもたらす。
  論文  参考訳（メタデータ） (2020-12-04T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。