論文の概要: Benchmark Evaluation of Counterfactual Algorithms for XAI: From a White Box to a Black Box

• arxiv url: http://arxiv.org/abs/2203.02399v1
• Date: Fri, 4 Mar 2022 16:08:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-07 14:17:48.924414
• Title: Benchmark Evaluation of Counterfactual Algorithms for XAI: From a White Box to a Black Box
• Title（参考訳）: XAIの対実アルゴリズムのベンチマーク評価:ホワイトボックスからブラックボックスへ
• Authors: Yu-Liang Chou and Chihcheng Hsieh and Catarina Moreira and Chun Ouyang and Joaquim Jorge and Jo\~ao Madeiras Pereira
• Abstract要約: 最先端の研究には、反事実的説明の質を評価するための標準化されたプロトコルがまだ欠けている。 文献における様々なモデル反事実アルゴリズムのベンチマーク評価を行った。 我々は,ホワイトボックス(決定木)からグレイボックス(ランダム林),ブラックボックス(ニューラルネットワーク)まで,さまざまな種類の機械学習モデルに対する対物生成過程について検討した。
• 参考スコア（独自算出の注目度）: 0.4893345190925178
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Counterfactual explanations have recently been brought to light as a potentially crucial response to obtaining human-understandable explanations from predictive models in Explainable Artificial Intelligence (XAI). Despite the fact that various counterfactual algorithms have been proposed, the state of the art research still lacks standardised protocols to evaluate the quality of counterfactual explanations. In this work, we conducted a benchmark evaluation across different model agnostic counterfactual algorithms in the literature (DiCE, WatcherCF, prototype, unjustifiedCF), and we investigated the counterfactual generation process on different types of machine learning models ranging from a white box (decision tree) to a grey-box (random forest) and a black box (neural network). We evaluated the different counterfactual algorithms using several metrics including proximity, interpretability and functionality for five datasets. The main findings of this work are the following: (1) without guaranteeing plausibility in the counterfactual generation process, one cannot have meaningful evaluation results. This means that all explainable counterfactual algorithms that do not take into consideration plausibility in their internal mechanisms cannot be evaluated with the current state of the art evaluation metrics; (2) the counterfactual generated are not impacted by the different types of machine learning models; (3) DiCE was the only tested algorithm that was able to generate actionable and plausible counterfactuals, because it provides mechanisms to constraint features; (4) WatcherCF and UnjustifiedCF are limited to continuous variables and can not deal with categorical data.
• Abstract（参考訳）: 説明可能な人工知能(XAI)の予測モデルから人間の理解可能な説明を得るための、潜在的に重要な反応として、対物的説明が最近明かされた。 様々な反事実アルゴリズムが提案されているにもかかわらず、最先端の芸術研究は相反的説明の質を評価するための標準化されたプロトコルをいまだに欠いている。 本研究では,文献中の異なるモデル非依存な反事実アルゴリズム(dice,watchercf,prototype,unjustifiedcf)を対象としたベンチマーク評価を行い,ホワイトボックス(決定木)からグレイボックス(ランダムフォレスト),ブラックボックス(ニューラルネットワーク)まで,さまざまな機械学習モデルにおける反事実生成過程について検討した。 我々は,5つのデータセットの近接性,解釈可能性,機能など,いくつかの指標を用いて,異なる反現実的アルゴリズムを評価した。 本研究の主な成果は次のとおりである。(1) 対実生成プロセスの妥当性が保証されていない場合、有意義な評価結果が得られない。 This means that all explainable counterfactual algorithms that do not take into consideration plausibility in their internal mechanisms cannot be evaluated with the current state of the art evaluation metrics; (2) the counterfactual generated are not impacted by the different types of machine learning models; (3) DiCE was the only tested algorithm that was able to generate actionable and plausible counterfactuals, because it provides mechanisms to constraint features; (4) WatcherCF and UnjustifiedCF are limited to continuous variables and can not deal with categorical data.

関連論文リスト

• Unifying and Verifying Mechanistic Interpretations: A Case Study with Group Operations [0.8305049591788082]
  機械論的解釈可能性に関する最近の研究は、有限群の二項演算で訓練されたニューラルネットワークによって実行される計算のリバースエンジニアリングに焦点が当てられている。 本研究では,この課題で訓練した一層ニューラルネットワークの内部構造について検討し,未同定構造を明らかにした。 我々は、そのようなモデルのより完全な記述を作成し、以前の作品の説明を統一する。
  論文  参考訳（メタデータ） (2024-10-09T23:02:00Z)
• Case-based Explainability for Random Forest: Prototypes, Critics, Counter-factuals and Semi-factuals [1.0485739694839669]
  説明可能なケースベース推論(XCBR)は、実例を参照してモデルの出力を解明する実践的なアプローチである。 XCBRは、最近までツリーベースモデルなど、多くのアルゴリズムであまり研究されていない。
  論文  参考訳（メタデータ） (2024-08-13T07:08:54Z)
• CLIMAX: An exploration of Classifier-Based Contrastive Explanations [5.381004207943597]
  我々は,ブラックボックスの分類を正当化する対照的な説明を提供する,ポストホックモデルXAI手法を提案する。 CLIMAXと呼ばれる手法は,局所的な分類法に基づく。 LIME, BayLIME, SLIMEなどのベースラインと比較して, 一貫性が向上することを示す。
  論文  参考訳（メタデータ） (2023-07-02T22:52:58Z)
• VCNet: A self-explaining model for realistic counterfactual generation [52.77024349608834]
  事実的説明は、機械学習の決定を局所的に説明するための手法のクラスである。 本稿では,予測器と対実生成器を組み合わせたモデルアーキテクチャであるVCNet-Variational Counter Netを提案する。 我々はVCNetが予測を生成でき、また、別の最小化問題を解くことなく、反現実的な説明を生成できることを示した。
  論文  参考訳（メタデータ） (2022-12-21T08:45:32Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
  本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。 我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
  論文  参考訳（メタデータ） (2020-11-17T12:39:44Z)
• PermuteAttack: Counterfactual Explanation of Machine Learning Credit Scorecards [0.0]
  本稿では、金融における小売クレジットスコアリングに使用される機械学習(ML)モデルの検証と説明のための新しい方向性と方法論について述べる。 提案するフレームワークは人工知能(AI)のセキュリティと敵MLの分野からモチベーションを引き出す。
  論文  参考訳（メタデータ） (2020-08-24T00:05:13Z)
• Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior? [97.77183117452235]
  我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。 方法の有効性の明確な証拠はごく少数にみえる。 以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
  論文  参考訳（メタデータ） (2020-05-04T20:35:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。