論文の概要: Explainable AI needs formal notions of explanation correctness

• arxiv url: http://arxiv.org/abs/2409.14590v1
• Date: Thu, 26 Sep 2024 12:29:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 21:57:16.691983
• Title: Explainable AI needs formal notions of explanation correctness
• Title（参考訳）: 説明可能なAIには説明の正確さという形式的な概念が必要だ
• Authors: Stefan Haufe, Rick Wilming, Benedict Clark, Rustam Zhumagambetov, Danny Panknin, Ahcène Boubekki,
• Abstract要約: 医学のような重要な分野における機械学習はリスクをもたらし、規制を必要とする。 1つの要件は、リスクの高いアプリケーションにおけるMLシステムの決定は、人間に理解可能なものであるべきです。 現在の形式では、XAIはMLの品質管理に不適であり、それ自体は精査が必要である。
• 参考スコア（独自算出の注目度）: 2.1309989863595677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of machine learning (ML) in critical domains such as medicine poses risks and requires regulation. One requirement is that decisions of ML systems in high-risk applications should be human-understandable. The field of "explainable artificial intelligence" (XAI) seemingly addresses this need. However, in its current form, XAI is unfit to provide quality control for ML; it itself needs scrutiny. Popular XAI methods cannot reliably answer important questions about ML models, their training data, or a given test input. We recapitulate results demonstrating that popular XAI methods systematically attribute importance to input features that are independent of the prediction target. This limits their utility for purposes such as model and data (in)validation, model improvement, and scientific discovery. We argue that the fundamental reason for this limitation is that current XAI methods do not address well-defined problems and are not evaluated against objective criteria of explanation correctness. Researchers should formally define the problems they intend to solve first and then design methods accordingly. This will lead to notions of explanation correctness that can be theoretically verified and objective metrics of explanation performance that can be assessed using ground-truth data.
• Abstract（参考訳）: 医学などの重要な領域における機械学習(ML)の使用はリスクをもたらし、規制を必要とする。 1つの要件は、リスクの高いアプリケーションにおけるMLシステムの決定は、人間に理解可能なものであるべきです。 説明可能な人工知能(XAI)の分野はこのニーズに対処しているように見える。 しかし、現在の形式では、XAIはMLの品質管理に不適であり、それ自体は精査が必要である。 一般的なXAIメソッドは、MLモデル、トレーニングデータ、あるいは所定のテスト入力に関する重要な質問に答えることはできない。 我々は,一般的なXAI手法が,予測対象とは無関係な入力特徴に対して,重要度を体系的に評価することを示す結果を再カプセル化する。 これにより、モデルやデータ(バリデーション)、モデルの改善、科学的発見といった目的のために、彼らのユーティリティが制限される。 この制限の根本的な理由は、現在のXAI手法が明確に定義された問題に対処せず、客観的な説明正当性基準に対して評価されないことであると論じる。 研究者は、最初に解決しようとする問題を正式に定義し、それに従ってメソッドを設計する必要がある。 このことは、理論的に検証可能な説明正当性の概念と、地上データを用いて評価可能な説明性能の客観的指標につながる。

関連論文リスト

• Verifying Machine Unlearning with Explainable AI [46.7583989202789]
  港の前面監視における機械学習(MU)の検証における説明可能なAI(XAI)の有効性について検討する。 私たちの概念実証は、従来のメトリクスを超えて拡張されたMUの革新的な検証ステップとして属性機能を導入しています。 本稿では,これらの手法の有効性を評価するために,熱マップカバレッジ(HC)とアテンションシフト(AS)の2つの新しいXAI指標を提案する。
  論文  参考訳（メタデータ） (2024-11-20T13:57:32Z)
• CHILLI: A data context-aware perturbation method for XAI [3.587367153279351]
  機械学習(ML)モデルの信頼性は評価が難しいが、リスクの高いアプリケーションや倫理的に敏感なアプリケーションでは重要である。 本稿では,文脈に意識された摂動を生成することで,データコンテキストをXAIに組み込む新しいフレームワークCHILLIを提案する。 これは説明の正確さと正確さを両立させることが示されている。
  論文  参考訳（メタデータ） (2024-07-10T10:18:07Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• A Survey of Machine Unlearning [56.017968863854186]
  最近の規制では、要求に応じて、ユーザに関する個人情報をコンピュータシステムから削除する必要がある。 MLモデルは古いデータをよく記憶します。 機械学習に関する最近の研究は、この問題を完全に解決することはできなかった。
  論文  参考訳（メタデータ） (2022-09-06T08:51:53Z)
• BASED-XAI: Breaking Ablation Studies Down for Explainable Artificial Intelligence [1.2948254191169823]
  様々な摂動が、潜在的に欠陥のある結論を避けるのにどのように役立つかを示す。 また,ホック後の説明可能性とアブレーション研究において,カテゴリー変数の扱いが重要であることも明らかにした。
  論文  参考訳（メタデータ） (2022-07-12T14:38:37Z)
• Explaining Any ML Model? -- On Goals and Capabilities of XAI [2.236663830879273]
  我々は、XAIアルゴリズムの目標と能力はよく理解されていないと論じる。 ユーザは多様な質問をすることができるが、その中の1つだけが現在のXAIアルゴリズムで答えられる。
  論文  参考訳（メタデータ） (2022-06-28T11:09:33Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• A Comparative Approach to Explainable Artificial Intelligence Methods in Application to High-Dimensional Electronic Health Records: Examining the Usability of XAI [0.0]
  XAIは、コミュニケーション手段によって人間に達成される信頼の実証的要因を生み出すことを目的としている。 機械を信頼して人間の生き方に向くというイデオロギーは倫理的な混乱を引き起こします。 XAIメソッドは、ローカルレベルとグローバルレベルの両方で出力される特定のモデルに対する機能貢献を視覚化します。
  論文  参考訳（メタデータ） (2021-03-08T18:15:52Z)
• Data Representing Ground-Truth Explanations to Evaluate XAI Methods [0.0]
  現在、説明可能な人工知能(XAI)手法は、主に解釈可能な機械学習(IML)研究に由来するアプローチで評価されている。 本稿では,XAI手法の精度を評価するために用いられる正準方程式を用いた説明法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T16:54:53Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• An Information-Theoretic Approach to Personalized Explainable Machine Learning [92.53970625312665]
  本稿では,予測とユーザ知識のための簡易確率モデルを提案する。 説明と予測の間の条件付き相互情報による説明の効果を定量化する。
  論文  参考訳（メタデータ） (2020-03-01T13:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。