論文の概要: Benchmarking Instance-Centric Counterfactual Algorithms for XAI: From White Box to Black Box

• arxiv url: http://arxiv.org/abs/2203.02399v4
• Date: Tue, 11 Jun 2024 05:33:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 10:27:01.477262
• Title: Benchmarking Instance-Centric Counterfactual Algorithms for XAI: From White Box to Black Box
• Title（参考訳）: XAIのインスタンス中心対実アルゴリズムのベンチマーク:ホワイトボックスからブラックボックスへ
• Authors: Catarina Moreira, Yu-Liang Chou, Chihcheng Hsieh, Chun Ouyang, Joaquim Jorge, João Madeiras Pereira,
• Abstract要約: 異なる機械学習モデルは、カウンターファクトの説明の生成にほとんど影響を与えない。 近接損失関数を一意に基礎とする対実的アルゴリズムは動作不可能であり、意味のある説明は提供しない。 カウンターファクトインスペクション分析は、カウンターファクトインスペクションの堅牢性を確保するために強く推奨される。
• 参考スコア（独自算出の注目度）: 0.26388783516590225
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This study investigates the impact of machine learning models on the generation of counterfactual explanations by conducting a benchmark evaluation over three different types of models: a decision tree (fully transparent, interpretable, white-box model), a random forest (semi-interpretable, grey-box model), and a neural network (fully opaque, black-box model). We tested the counterfactual generation process using four algorithms (DiCE, WatcherCF, prototype, and GrowingSpheresCF) in the literature in 25 different datasets. Our findings indicate that: (1) Different machine learning models have little impact on the generation of counterfactual explanations; (2) Counterfactual algorithms based uniquely on proximity loss functions are not actionable and will not provide meaningful explanations; (3) One cannot have meaningful evaluation results without guaranteeing plausibility in the counterfactual generation. Algorithms that do not consider plausibility in their internal mechanisms will lead to biased and unreliable conclusions if evaluated with the current state-of-the-art metrics; (4) A counterfactual inspection analysis is strongly recommended to ensure a robust examination of counterfactual explanations and the potential identification of biases.
• Abstract（参考訳）: 本研究では、決定木(完全に透明で、解釈可能な、ホワイトボックスモデル)、ランダム森林(半解釈可能な、グレーボックスモデル)、ニューラルネットワーク(完全に不透明な、ブラックボックスモデル)の3種類のモデルに対してベンチマーク評価を行い、機械学習モデルが対物説明の生成に与える影響について検討する。 文献中の4つのアルゴリズム(DiCE,WatcherCF,プロトタイプ,GrowingSpheresCF)を25種類のデータセットで検証した。 その結果,(1) 機械学習モデルの違いは, 対物的説明の生成にはほとんど影響を与えず, (2) 近接損失関数を一意に用いた対物的アルゴリズムは動作不可能であり, 有意義な説明を与えない,(3) 対物的生成の妥当性を保証せずに有意義な評価結果を得ることはできない,という結果が得られた。 内部メカニズムの妥当性を考慮しないアルゴリズムは、現在の最先端の指標で評価した場合、バイアスや信頼性の低い結論につながる。

関連論文リスト

• Right for the Wrong Reason: Can Interpretable ML Techniques Detect Spurious Correlations? [2.7558542803110244]
  本稿では,素早い相関関係を正確に識別する説明手法の能力を評価するための厳密な評価手法を提案する。 ポストホックな手法であるSHAPと本質的に解釈可能なAttri-Netが最高のパフォーマンスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-07-23T14:43:17Z)
• CLIMAX: An exploration of Classifier-Based Contrastive Explanations [5.381004207943597]
  我々は,ブラックボックスの分類を正当化する対照的な説明を提供する,ポストホックモデルXAI手法を提案する。 CLIMAXと呼ばれる手法は,局所的な分類法に基づく。 LIME, BayLIME, SLIMEなどのベースラインと比較して, 一貫性が向上することを示す。
  論文  参考訳（メタデータ） (2023-07-02T22:52:58Z)
• VCNet: A self-explaining model for realistic counterfactual generation [52.77024349608834]
  事実的説明は、機械学習の決定を局所的に説明するための手法のクラスである。 本稿では,予測器と対実生成器を組み合わせたモデルアーキテクチャであるVCNet-Variational Counter Netを提案する。 我々はVCNetが予測を生成でき、また、別の最小化問題を解くことなく、反現実的な説明を生成できることを示した。
  論文  参考訳（メタデータ） (2022-12-21T08:45:32Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Generalizability of Machine Learning Models: Quantitative Evaluation of Three Methodological Pitfalls [1.3870303451896246]
  いくつかの医用画像データセットを用いてランダムフォレストとディープ畳み込みニューラルネットワークモデルを実装した。 独立仮定の違反はモデル一般化可能性に大きく影響する可能性が示唆された。 不適切なパフォーマンス指標は誤った結論につながる可能性がある。
  論文  参考訳（メタデータ） (2022-02-01T05:07:27Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
  本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。 我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
  論文  参考訳（メタデータ） (2020-11-17T12:39:44Z)
• PermuteAttack: Counterfactual Explanation of Machine Learning Credit Scorecards [0.0]
  本稿では、金融における小売クレジットスコアリングに使用される機械学習(ML)モデルの検証と説明のための新しい方向性と方法論について述べる。 提案するフレームワークは人工知能(AI)のセキュリティと敵MLの分野からモチベーションを引き出す。
  論文  参考訳（メタデータ） (2020-08-24T00:05:13Z)
• Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior? [97.77183117452235]
  我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。 方法の有効性の明確な証拠はごく少数にみえる。 以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
  論文  参考訳（メタデータ） (2020-05-04T20:35:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。