論文の概要: XAI-Units: Benchmarking Explainability Methods with Unit Tests

• arxiv url: http://arxiv.org/abs/2506.01059v1
• Date: Sun, 01 Jun 2025 15:58:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.912505
• Title: XAI-Units: Benchmarking Explainability Methods with Unit Tests
• Title（参考訳）: XAI-Units: ユニットテストによる説明可能性メソッドのベンチマーク
• Authors: Jun Rui Lee, Sadegh Emami, Michael David Hollins, Timothy C. H. Wong, Carlos Ignacio Villalobos Sánchez, Francesca Toni, Dekai Zhang, Adam Dejl,
• Abstract要約: 特徴属性法は説明可能なAI(XAI)に広く用いられている 異なるFAモデルは、しばしば同じモデルに対して不一致の重要度スコアを提供する。 我々は、さまざまな種類のモデル行動に対してFAメソッドを評価するために、オープンソースのXAI-Unitsベンチマークを導入する。
• 参考スコア（独自算出の注目度）: 8.169313776845344
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Feature attribution (FA) methods are widely used in explainable AI (XAI) to help users understand how the inputs of a machine learning model contribute to its outputs. However, different FA models often provide disagreeing importance scores for the same model. In the absence of ground truth or in-depth knowledge about the inner workings of the model, it is often difficult to meaningfully determine which of the different FA methods produce more suitable explanations in different contexts. As a step towards addressing this issue, we introduce the open-source XAI-Units benchmark, specifically designed to evaluate FA methods against diverse types of model behaviours, such as feature interactions, cancellations, and discontinuous outputs. Our benchmark provides a set of paired datasets and models with known internal mechanisms, establishing clear expectations for desirable attribution scores. Accompanied by a suite of built-in evaluation metrics, XAI-Units streamlines systematic experimentation and reveals how FA methods perform against distinct, atomic kinds of model reasoning, similar to unit tests in software engineering. Crucially, by using procedurally generated models tied to synthetic datasets, we pave the way towards an objective and reliable comparison of FA methods.
• Abstract（参考訳）: FA(Feature Attribution)メソッドは、マシンラーニングモデルの入力がアウトプットにどのように貢献するかを理解するために、説明可能なAI(XAI)で広く使用されている。 しかし、異なるFAモデルは、しばしば同じモデルに対して相反する重要性のスコアを提供する。 モデルの内部動作に関する基礎的な真実や深い知識が欠如している場合、異なるFA手法のどちらが異なる文脈でより適切な説明をもたらすかを有意に決定することはしばしば困難である。 この問題に対処するためのステップとして,機能インタラクションやキャンセル,不連続出力など,さまざまなモデル動作に対するFAメソッドの評価を目的とした,オープンソースのXAI-Unitsベンチマークを導入する。 私たちのベンチマークでは、ペア化されたデータセットと、既知の内部メカニズムを備えたモデルを提供し、望ましい属性スコアに対する明確な期待を確立する。 XAI-Unitsは、組み込み評価メトリクスのスイートと合わせて、体系的な実験を合理化し、ソフトウェア工学の単体テストと同様、FAメソッドが異なるアトミックなモデルの推論に対してどのように機能するかを明らかにする。 重要なことに、合成データセットに関連付けられた手続き的に生成されたモデルを使用することで、FA手法の客観的かつ信頼性の高い比較に向けた道を開いた。

関連論文リスト

• A Comparative Study of Explainable AI Methods: Model-Agnostic vs. Model-Specific Approaches [0.0]
  LIME と SHAP が Grad-CAM と Guided Backpropagation とどのように異なるのかを ResNet50 予測の解釈時に検討する。 それぞれの手法が、モデル決定プロセスの異なる側面を明らかにすることに気づきました。 私の分析では、モデル解釈容易性には"すべてにフィットする"ソリューションがないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-05T20:13:20Z)
• Unified Explanations in Machine Learning Models: A Perturbation Approach [0.0]
  XAIとモデリング技術の不整合は、これらの説明可能性アプローチの有効性に疑念を投げかけるという望ましくない効果をもたらす可能性がある。 我々はXAI, SHapley Additive exPlanations (Shap) において, 一般的なモデルに依存しない手法に対する系統的摂動解析を提案する。 我々は、一般的な機械学習とディープラーニングの手法のスイートと、静的ケースホールドで生成された説明の正確さを定量化するためのメトリクスの中で、動的推論の設定において、相対的な特徴重要度を生成するアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-05-30T16:04:35Z)
• EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
  本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。 我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。 このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2024-05-20T14:16:06Z)
• Explanation-by-Example Based on Item Response Theory [0.0]
  本研究は, 項目応答理論(IRT)を, モデルを説明し, 説明による信頼性のレベルを測定するためのツールとして検討する。 テストセットからすると、83.8%のエラーはIRTがモデルを信頼できないと指摘しているインスタンスからのものである。
  論文  参考訳（メタデータ） (2022-10-04T14:36:33Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)
• Evaluating the Disentanglement of Deep Generative Models through Manifold Topology [66.06153115971732]
  本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。 複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
  論文  参考訳（メタデータ） (2020-06-05T20:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。