論文の概要: An Objective Metric for Explainable AI: How and Why to Estimate the Degree of Explainability

• arxiv url: http://arxiv.org/abs/2109.05327v1
• Date: Sat, 11 Sep 2021 17:44:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 16:09:55.603856
• Title: An Objective Metric for Explainable AI: How and Why to Estimate the Degree of Explainability
• Title（参考訳）: 説明可能なaiのための客観的指標:説明可能性の程度を見積もる方法と理由
• Authors: Francesco Sovrano, Fabio Vitali
• Abstract要約: 本稿では, 客観的手法を用いて, 正しい情報のeX説明可能性の度合いを測定するための, モデルに依存しない新しい指標を提案する。 私たちは、医療とファイナンスのための2つの現実的なAIベースのシステムについて、いくつかの実験とユーザースタディを設計しました。
• 参考スコア（独自算出の注目度）: 3.04585143845864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous government initiatives (e.g. the EU with GDPR) are coming to the conclusion that the increasing complexity of modern software systems must be contrasted with some Rights to Explanation and metrics for the Impact Assessment of these tools, that allow humans to understand and oversee the output of Automated Decision Making systems. Explainable AI was born as a pathway to allow humans to explore and understand the inner working of complex systems. But establishing what is an explanation and objectively evaluating explainability, are not trivial tasks. With this paper, we present a new model-agnostic metric to measure the Degree of eXplainability of correct information in an objective way, exploiting a specific model from Ordinary Language Philosophy called the Achinstein's Theory of Explanations. In order to understand whether this metric is actually behaving as explainability is expected to, we designed a few experiments and a user-study on two realistic AI-based systems for healthcare and finance, involving famous AI technology including Artificial Neural Networks and TreeSHAP. The results we obtained are very encouraging, suggesting that our proposed metric for measuring the Degree of eXplainability is robust on several scenarios and it can be eventually exploited for a lawful Impact Assessment of an Automated Decision Making system.
• Abstract（参考訳）: 多くの政府のイニシアチブ(例えばGDPRとEU)は、現代のソフトウェアシステムの複雑さの増大は、これらのツールのインパクトアセスメントのための説明とメトリクスに対するいくつかの権利と対比されなければならないという結論に達している。 説明可能なAIは、人間が複雑なシステムの内部動作を探索し理解するための経路として生まれた。 しかし、説明可能性の確立と客観的な評価は、簡単な作業ではありません。 本稿では,Achinstein's Theory of Explanations(アチンシュタインの説明理論)と呼ばれる正規言語哲学の特定のモデルを利用して,正しい情報のeX説明可能性の度合いを客観的に測定する。 このメトリクスが実際に説明可能性として振る舞うかどうかを理解するために、私たちは、医療と金融のための2つの現実的なAIベースのシステムに関するいくつかの実験とユーザースタディを設計しました。 その結果,eXplainabilityの測定基準はいくつかのシナリオにおいて堅牢であり,最終的には自動意思決定システムに対する合法的な影響評価に活用できる可能性が示唆された。

関連論文リスト

• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Requirements for Explainability and Acceptance of Artificial Intelligence in Collaborative Work [0.0]
  本稿では,AIの説明可能性と受容の要件について考察する。 その結果,2つの主要なグループが,モデルの内部操作に関する情報を必要とする開発者であることが示唆された。 AIシステムの受容は、システムの機能や性能、プライバシ、倫理的考慮事項に関する情報に依存する。
  論文  参考訳（メタデータ） (2023-06-27T11:36:07Z)
• Towards Reconciling Usability and Usefulness of Explainable AI Methodologies [2.715884199292287]
  ブラックボックスAIシステムは、誤った判断を下すと、責任と説明責任の問題を引き起こす可能性がある。 説明可能なAI(XAI)は、開発者とエンドユーザの間の知識ギャップを埋めようとしている。
  論文  参考訳（メタデータ） (2023-01-13T01:08:49Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)
• LioNets: A Neural-Specific Local Interpretation Technique Exploiting Penultimate Layer Information [6.570220157893279]
  解釈可能な機械学習(IML)は研究の緊急のトピックである。 本稿では,テキストデータと時系列データに適用される局所的,神経特異的な解釈プロセスに焦点を当てる。
  論文  参考訳（メタデータ） (2021-04-13T09:39:33Z)
• The role of explainability in creating trustworthy artificial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies [1.2762298148425795]
  透明性の欠如は、医療におけるAIシステムの実装における主要な障壁の1つとして認識されている。 我々は最近の文献をレビューし、説明可能なAIシステムの設計について研究者や実践者にガイダンスを提供する。 我々は、説明可能なモデリングが信頼できるAIに貢献できると結論づけるが、説明可能性の利点は実際に証明する必要がある。
  論文  参考訳（メタデータ） (2020-07-31T09:08:27Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。