Fugu-MT 論文翻訳(概要): BEExAI: Benchmark to Evaluate Explainable AI

論文の概要: BEExAI: Benchmark to Evaluate Explainable AI

arxiv url: http://arxiv.org/abs/2407.19897v1
Date: Mon, 29 Jul 2024 11:21:17 GMT
ステータス: 処理完了
システム内更新日: 2024-07-30 14:06:25.702798
Title: BEExAI: Benchmark to Evaluate Explainable AI
Title（参考訳）: BEExAI: 説明可能なAIを評価するベンチマーク
Authors: Samuel Sithakoul, Sara Meftah, Clément Feutry,
Abstract要約: 本稿では,ポストホックXAI手法の大規模比較を可能にするベンチマークツールであるBEExAIを提案する。説明の質と正確性を測定するための信頼性の高い方法の必要性が重要になっていると論じる。
参考スコア（独自算出の注目度）: 0.9176056742068812
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent research in explainability has given rise to numerous post-hoc attribution methods aimed at enhancing our comprehension of the outputs of black-box machine learning models. However, evaluating the quality of explanations lacks a cohesive approach and a consensus on the methodology for deriving quantitative metrics that gauge the efficacy of explainability post-hoc attribution methods. Furthermore, with the development of increasingly complex deep learning models for diverse data applications, the need for a reliable way of measuring the quality and correctness of explanations is becoming critical. We address this by proposing BEExAI, a benchmark tool that allows large-scale comparison of different post-hoc XAI methods, employing a set of selected evaluation metrics.
Abstract（参考訳）: 近年,ブラックボックス機械学習モデルのアウトプットの理解を深めるためのポストホック帰属手法が数多く提案されている。しかし、説明の質を評価するには、結合的なアプローチと、説明可能性のポストホック帰属法の有効性を評価する定量的なメトリクスを導出するための方法論の合意が欠如している。さらに、多様なデータアプリケーションのための複雑なディープラーニングモデルの開発に伴い、説明の質と正確性を測定する信頼性の高い方法の必要性が高まっている。提案するベンチマークツールであるBEExAIは,選択した評価指標を用いて,さまざまなポストホックXAI手法の大規模比較を可能にする。

関連論文リスト

EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
論文参考訳（メタデータ） (2024-05-20T14:16:06Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
An Experimental Investigation into the Evaluation of Explainability Methods [60.54170260771932]
この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
論文参考訳（メタデータ） (2023-05-25T08:07:07Z)
Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文参考訳（メタデータ） (2023-03-21T14:24:58Z)
The Meta-Evaluation Problem in Explainable AI: Identifying Reliable Estimators with MetaQuantus [10.135749005469686]
説明可能なAI(XAI)分野における未解決課題の1つは、説明方法の品質を最も確実に見積もる方法を決定することである。我々は、XAIの異なる品質推定器のメタ評価を通じてこの問題に対処する。我々の新しいフレームワークMetaQuantusは、品質推定器の2つの相補的な性能特性を解析する。
論文参考訳（メタデータ） (2023-02-14T18:59:02Z)
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文参考訳（メタデータ） (2022-05-31T04:57:06Z)
Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文参考訳（メタデータ） (2022-05-20T20:50:17Z)
From Anecdotal Evidence to Quantitative Evaluation Methods: A Systematic Review on Evaluating Explainable AI [3.7592122147132776]
我々は,説明の質を総合的に評価するために評価すべき,コンパクト性や正確性などの12の概念的特性を同定する。その結果,3件中1件が逸話的証拠でのみ評価され,5件中1件がユーザで評価されていることがわかった。この体系的な評価手法の収集は、研究者や実践者に、新しいXAI手法と既存のXAI手法を徹底的に検証、ベンチマーク、比較するための具体的なツールを提供する。
論文参考訳（メタデータ） (2022-01-20T13:23:20Z)
Provably Robust Model-Centric Explanations for Critical Decision-Making [14.367217955827002]
データ中心の手法は、限られた実用性についての脆い説明をもたらす可能性がある。しかし、モデル中心のフレームワークは、実際にAIモデルを使用するリスクに関する実用的な洞察を提供することができる。
論文参考訳（メタデータ） (2021-10-26T18:05:49Z)
A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文参考訳（メタデータ） (2020-09-25T12:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。