論文の概要: OpenXAI: Towards a Transparent Evaluation of Model Explanations

• arxiv url: http://arxiv.org/abs/2206.11104v5
• Date: Wed, 13 Mar 2024 21:38:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 03:29:29.799269
• Title: OpenXAI: Towards a Transparent Evaluation of Model Explanations
• Title（参考訳）: OpenXAI: モデル説明の透明な評価を目指して
• Authors: Chirag Agarwal, Dan Ley, Satyapriya Krishna, Eshika Saxena, Martin Pawelczyk, Nari Johnson, Isha Puri, Marinka Zitnik, Himabindu Lakkaraju,
• Abstract要約: 我々は,ポストホックな説明手法の評価とベンチマークを行う,包括的でオープンソースなフレームワークであるOpenXAIを紹介する。 柔軟性のある合成データジェネレータと多様な実世界のデータセットのコレクション、事前訓練されたモデル、最先端の機能属性メソッド、および(ii)忠実性、安定性(ロバスト性)、説明方法の公正性を評価するための11の定量的メトリクスのオープンソース実装。
• 参考スコア（独自算出の注目度）: 41.37573216839717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While several types of post hoc explanation methods have been proposed in recent literature, there is very little work on systematically benchmarking these methods. Here, we introduce OpenXAI, a comprehensive and extensible open-source framework for evaluating and benchmarking post hoc explanation methods. OpenXAI comprises of the following key components: (i) a flexible synthetic data generator and a collection of diverse real-world datasets, pre-trained models, and state-of-the-art feature attribution methods, and (ii) open-source implementations of eleven quantitative metrics for evaluating faithfulness, stability (robustness), and fairness of explanation methods, in turn providing comparisons of several explanation methods across a wide variety of metrics, models, and datasets. OpenXAI is easily extensible, as users can readily evaluate custom explanation methods and incorporate them into our leaderboards. Overall, OpenXAI provides an automated end-to-end pipeline that not only simplifies and standardizes the evaluation of post hoc explanation methods, but also promotes transparency and reproducibility in benchmarking these methods. While the first release of OpenXAI supports only tabular datasets, the explanation methods and metrics that we consider are general enough to be applicable to other data modalities. OpenXAI datasets and models, implementations of state-of-the-art explanation methods and evaluation metrics, are publicly available at this GitHub link.
• Abstract（参考訳）: 近年、いくつかのポストホックな説明法が提案されているが、これらの手法を体系的にベンチマークする作業はほとんど行われていない。 本稿では,ポストホックな説明手法の評価とベンチマークを行う,包括的で拡張可能なオープンソースフレームワークであるOpenXAIを紹介する。 OpenXAIは以下のキーコンポーネントで構成されています。 一 フレキシブルな合成データ生成装置及び多様な実世界のデータセット、事前訓練されたモデル及び最先端の特徴属性方法の収集 2) 信頼性,安定性(ロバスト性),説明手法の公正性を評価するための11の定量的指標のオープンソース実装。 OpenXAIは、ユーザがカスタムな説明方法を簡単に評価し、それを私たちのリーダーボードに組み込むことができるので、容易に拡張できます。 全体として、OpenXAIは、ポストホックな説明手法の評価を単純化し標準化するだけでなく、これらの手法のベンチマークにおける透明性と再現性を促進する、エンドツーエンドの自動パイプラインを提供する。 OpenXAIの最初のリリースは、表形式のデータセットのみをサポートしているが、私たちが考慮している説明方法とメトリクスは他のデータモダリティに適用できるほど一般的である。 OpenXAIデータセットとモデル、最先端の説明方法と評価指標の実装は、このGitHubリンクで公開されている。

関連論文リスト

• A Closer Look at Deep Learning on Tabular Data [52.50778536274327]
  タブラルデータは、機械学習の様々な領域で広く使われている。 Deep Neural Network(DNN)ベースの手法は、ツリーベースに匹敵する有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-07-01T04:24:07Z)
• EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
  本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。 我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。 このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2024-05-20T14:16:06Z)
• Precise Benchmarking of Explainable AI Attribution Methods [0.0]
  本稿では,最新のXAI属性手法のベンチマークのための新しい評価手法を提案する。 提案手法は, 基礎的真理の説明を伴う合成分類モデルから成り立っている。 実験の結果, Guided-Backprop 法と Smoothgrad XAI 法の性能に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2023-08-06T17:03:32Z)
• Explanations Based on Item Response Theory (eXirt): A Model-Specific Method to Explain Tree-Ensemble Model in Trust Perspective [0.4749981032986242]
  Ciu、Dalex、Eli5、Lofo、Shap、Skaterといった手法がブラックボックスモデルを説明するために登場した。 Xirtは、ツリーアンサンブルモデルのグローバルな説明とIRTを通してモデルのインスタンスのローカルな説明を生成することができる。
  論文  参考訳（メタデータ） (2022-10-18T15:30:14Z)
• What and How of Machine Learning Transparency: Building Bespoke Explainability Tools with Interoperable Algorithmic Components [77.87794937143511]
  本稿では,データ駆動予測モデルを説明するためのハンズオントレーニング教材について紹介する。 これらのリソースは、解釈可能な表現合成、データサンプリング、説明生成の3つのコアビルディングブロックをカバーする。
  論文  参考訳（メタデータ） (2022-09-08T13:33:25Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• CARLA: A Python Library to Benchmark Algorithmic Recourse and Counterfactual Explanation Algorithms [6.133522864509327]
  CARLA (Counterfactual And Recourse LibrAry) は、対物的説明法をベンチマークするピソンライブラリである。 提案手法は,11種類の反事実的説明手法の広範なベンチマークを提供する。 また,将来的対実的説明法の研究のためのベンチマークフレームワークも提供する。
  論文  参考訳（メタデータ） (2021-08-02T11:00:43Z)
• Developing a Fidelity Evaluation Approach for Interpretable Machine Learning [2.2448567386846916]
  複雑なモデルの解釈性を改善するために、説明可能なAI(XAI)メソッドが使用される。 特に、ブラックボックスの説明の忠実さを評価するには、さらなる発展が必要である。 本評価は, 基礎となる予測モデルの内部メカニズム, 使用法の内部メカニズム, モデルおよびデータの複雑さが, すべて説明忠実性に影響を与えることを示唆している。
  論文  参考訳（メタデータ） (2021-06-16T00:21:16Z)
• Probabilistic Case-based Reasoning for Open-World Knowledge Graph Completion [59.549664231655726]
  ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。 本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。 提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
  論文  参考訳（メタデータ） (2020-10-07T17:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。