論文の概要: OpenXAI: Towards a Transparent Evaluation of Model Explanations

• arxiv url: http://arxiv.org/abs/2206.11104v1
• Date: Wed, 22 Jun 2022 14:01:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 20:32:43.896851
• Title: OpenXAI: Towards a Transparent Evaluation of Model Explanations
• Title（参考訳）: OpenXAI: モデル説明の透明な評価を目指して
• Authors: Chirag Agarwal, Eshika Saxena, Satyapriya Krishna, Martin Pawelczyk, Nari Johnson, Isha Puri, Marinka Zitnik, and Himabindu Lakkaraju
• Abstract要約: 我々は,ポストホックな説明手法の評価とベンチマークを行う,包括的でオープンソースなフレームワークであるOpenXAIを紹介する。 1)柔軟な合成データジェネレータと多様な実世界のデータセット、事前訓練されたモデル、および最先端の機能属性メソッドのコレクション、2)忠実性、安定性(ロバスト性)、説明方法の公正性を評価するための22のメトリクスのオープンソース実装、3)説明をベンチマークする最初の公開XAIリーダーボード。
• 参考スコア（独自算出の注目度）: 19.380771651689344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While several types of post hoc explanation methods (e.g., feature attribution methods) have been proposed in recent literature, there is little to no work on systematically benchmarking these methods in an efficient and transparent manner. Here, we introduce OpenXAI, a comprehensive and extensible open source framework for evaluating and benchmarking post hoc explanation methods. OpenXAI comprises of the following key components: (i) a flexible synthetic data generator and a collection of diverse real-world datasets, pre-trained models, and state-of-the-art feature attribution methods, (ii) open-source implementations of twenty-two quantitative metrics for evaluating faithfulness, stability (robustness), and fairness of explanation methods, and (iii) the first ever public XAI leaderboards to benchmark explanations. OpenXAI is easily extensible, as users can readily evaluate custom explanation methods and incorporate them into our leaderboards. Overall, OpenXAI provides an automated end-to-end pipeline that not only simplifies and standardizes the evaluation of post hoc explanation methods, but also promotes transparency and reproducibility in benchmarking these methods. OpenXAI datasets and data loaders, implementations of state-of-the-art explanation methods and evaluation metrics, as well as leaderboards are publicly available at https://open-xai.github.io/.
• Abstract（参考訳）: ポストホックな説明法(例えば特徴帰属法)が近年文献で提案されているが、効率的かつ透明な方法でこれらの手法を体系的にベンチマークする作業はほとんどない。 本稿では,ポストホックな説明手法の評価とベンチマークを行う,包括的で拡張可能なオープンソースフレームワークであるOpenXAIを紹介する。 OpenXAIは以下のキーコンポーネントで構成されています。 (i)フレキシブルな合成データ生成装置、多種多様な実世界のデータセット、事前学習されたモデル、最先端の特徴帰属方法 二 忠実性、安定性(乱れ)及び説明方法の公平性の評価のための二十二定量指標のオープンソース実装 (iii) 説明をベンチマークする最初の公開XAIリーダーボード。 OpenXAIは、ユーザがカスタムな説明方法を評価し、それをリーダーボードに組み込むことができるので、容易に拡張できます。 全体として、OpenXAIは、ポストホックな説明手法の評価を単純化し標準化するだけでなく、これらの手法のベンチマークにおける透明性と再現性を促進する、エンドツーエンドの自動パイプラインを提供する。 OpenXAIデータセットとデータローダ、最先端の説明方法と評価指標の実装、およびリーダボードはhttps://open-xai.github.io/で公開されている。

関連論文リスト

• GATE OpenING: A Comprehensive Benchmark for Judging Open-ended Interleaved Image-Text Generation [59.53678957969471]
  MLLM(Multimodal Large Language Models)は視覚的理解と生成に大きく貢献している。 インターリーブされた画像テキストコンテンツを生成することは依然として課題であり、統合されたマルチモーダル理解と生成能力が必要である。 Gate Openingは56の現実世界タスクにわたる5,400の高品質な人間アノテーションインスタンスからなるベンチマークである。 IntJudgeはオープンなマルチモーダル生成手法を評価するための判断モデルである。
  論文  参考訳（メタデータ） (2024-11-27T16:39:04Z)
• EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
  本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。 我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。 このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2024-05-20T14:16:06Z)
• Precise Benchmarking of Explainable AI Attribution Methods [0.0]
  本稿では,最新のXAI属性手法のベンチマークのための新しい評価手法を提案する。 提案手法は, 基礎的真理の説明を伴う合成分類モデルから成り立っている。 実験の結果, Guided-Backprop 法と Smoothgrad XAI 法の性能に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2023-08-06T17:03:32Z)
• Explanations Based on Item Response Theory (eXirt): A Model-Specific Method to Explain Tree-Ensemble Model in Trust Perspective [0.4749981032986242]
  Ciu、Dalex、Eli5、Lofo、Shap、Skaterといった手法がブラックボックスモデルを説明するために登場した。 Xirtは、ツリーアンサンブルモデルのグローバルな説明とIRTを通してモデルのインスタンスのローカルな説明を生成することができる。
  論文  参考訳（メタデータ） (2022-10-18T15:30:14Z)
• What and How of Machine Learning Transparency: Building Bespoke Explainability Tools with Interoperable Algorithmic Components [77.87794937143511]
  本稿では,データ駆動予測モデルを説明するためのハンズオントレーニング教材について紹介する。 これらのリソースは、解釈可能な表現合成、データサンプリング、説明生成の3つのコアビルディングブロックをカバーする。
  論文  参考訳（メタデータ） (2022-09-08T13:33:25Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• CARLA: A Python Library to Benchmark Algorithmic Recourse and Counterfactual Explanation Algorithms [6.133522864509327]
  CARLA (Counterfactual And Recourse LibrAry) は、対物的説明法をベンチマークするピソンライブラリである。 提案手法は,11種類の反事実的説明手法の広範なベンチマークを提供する。 また,将来的対実的説明法の研究のためのベンチマークフレームワークも提供する。
  論文  参考訳（メタデータ） (2021-08-02T11:00:43Z)
• Developing a Fidelity Evaluation Approach for Interpretable Machine Learning [2.2448567386846916]
  複雑なモデルの解釈性を改善するために、説明可能なAI(XAI)メソッドが使用される。 特に、ブラックボックスの説明の忠実さを評価するには、さらなる発展が必要である。 本評価は, 基礎となる予測モデルの内部メカニズム, 使用法の内部メカニズム, モデルおよびデータの複雑さが, すべて説明忠実性に影響を与えることを示唆している。
  論文  参考訳（メタデータ） (2021-06-16T00:21:16Z)
• Probabilistic Case-based Reasoning for Open-World Knowledge Graph Completion [59.549664231655726]
  ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。 本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。 提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
  論文  参考訳（メタデータ） (2020-10-07T17:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。