論文の概要: Towards a Unified Multidimensional Explainability Metric: Evaluating Trustworthiness in AI Models
- arxiv url: http://arxiv.org/abs/2607.14315v1
- Date: Wed, 15 Jul 2026 19:20:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.896162
- Title: Towards a Unified Multidimensional Explainability Metric: Evaluating Trustworthiness in AI Models
- Title（参考訳）: 統一された多次元説明可能性指標に向けて:AIモデルの信頼性を評価する
- Abstract要約: 複数のデータセットや機械学習モデルにまたがる様々なXAI手法の説明可能性を評価するためのフレームワークを提案する。
説明可能性の3つの重要な側面 – 忠実さ,単純さ,安定性 – に重点を置いています。
本研究は,様々なXAI手法の妥当性を評価・比較するための,堅牢で汎用的なツールを提供することにより,XAIの発展に寄与する。
- 参考スコア（独自算出の注目度）: 0.4383559909463423
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we present a comprehensive framework for assessing the explainability of various XAI methods, such as LIME and SHAP, across multiple datasets and machine learning models, with the ultimate goal of creating a unified multidimensional explainability score. Our methodology focuses on three key aspects of explainability: fidelity, simplicity, and stability. We leverage benchmarking experiments to systematically evaluate these aspects and use the insights gained to construct an offline knowledge base. This knowledge base captures the explainability scores for each registered model and serves as a valuable resource for context-dependent evaluation of explainability. By analyzing the complementary characteristics and metadata of AI models, datasets, and XAI methods, the knowledge base will enable the estimation of explainability scores for previously unseen datasets and models. Properties like fidelity, simplicity, and stability may vary significantly based on the dataset, underlying model, and domain expertise of the end user. We demonstrate our framework by applying it to three open-source datasets, discussing the implications of the obtained results in relation to the characteristics of the datasets. Our work contributes to the growing field of XAI by providing a robust and versatile tool for evaluating and comparing the explainability of various XAI methods, ultimately supporting the development of more transparent and trustworthy AI systems.
- Abstract（参考訳）: 本稿では,LIME や SHAP など,複数のデータセットや機械学習モデルにまたがる様々な XAI 手法の説明可能性を評価するための包括的フレームワークを提案する。
我々の方法論は、説明可能性の3つの重要な側面(忠実さ、単純さ、安定性)に焦点を当てている。
ベンチマーク実験を活用し、これらの側面を体系的に評価し、オフラインの知識ベースを構築するために得られた洞察を利用する。
この知識ベースは、登録されたモデルごとに説明可能性スコアをキャプチャし、文脈に依存した説明可能性の評価のための貴重なリソースとして機能する。
AIモデル、データセット、XAIメソッドの相補的な特性とメタデータを分析することで、知識ベースは、これまで見つからなかったデータセットとモデルの説明可能性スコアを推定することができる。
忠実さ、単純さ、安定性といった特性は、データセット、基礎となるモデル、エンドユーザのドメインの専門知識によって大きく異なります。
このフレームワークを3つのオープンソースデータセットに適用し、その結果がデータセットの特徴に与える影響を議論することで、その枠組みを実証する。
我々の研究は、様々なXAI手法の説明可能性を評価し比較するための堅牢で汎用的なツールを提供することによって、XAIの成長に寄与し、最終的にはより透明で信頼性の高いAIシステムの開発を支援します。
関連論文リスト
- Interpretable and Fair Generalized Additive Neural Networks via Multi-objective Learning [52.66717986145448]
理解可能性と公正性は、信頼できる人工知能(AI)において最も強調される2つの次元の1つである
本稿では,ニューラルネットワーク(NN)に基づく自己解釈可能なモデルであるGAM(Generalized Additive Model)に焦点を当てる。
論文 参考訳（メタデータ） (2026-09-05T07:29:42Z) - A Framework for Generating Artificial Datasets to Validate Absolute and Relative Position Concepts [2.0391237204597368]
このフレームワークは、オブジェクト認識、絶対位置と相対位置、属性識別といった基本的な概念に焦点を当てている。
提案するフレームワークは、多種多様な包括的なデータセットを生成するための貴重な手段を提供する。
論文 参考訳（メタデータ） (2025-09-17T18:37:24Z) - Why Do Open-Source LLMs Struggle with Data Analysis? A Systematic Empirical Study [55.09905978813599]
大規模言語モデル(LLM)は、データ分析タスクの自動化を約束する。
しかし、オープンソースモデルは、このような推論集約的なシナリオにおいて、重大な制限に直面している。
本研究では,オープンソースLLMのデータ解析機能を強化するための戦略について検討する。
論文 参考訳（メタデータ） (2025-06-24T17:04:23Z) - VirtualXAI: A User-Centric Framework for Explainability Assessment Leveraging GPT-Generated Personas [0.07499722271664146]
eXplainable AI(XAI)の需要が増加し、AIモデルの解釈可能性、透明性、信頼性が向上した。
仮想ペルソナによる定量的ベンチマークと質的ユーザアセスメントを統合したフレームワークを提案する。
これにより、推定されたXAIスコアが得られ、与えられたシナリオに対して最適なAIモデルとXAIメソッドの両方にカスタマイズされたレコメンデーションが提供される。
論文 参考訳（メタデータ） (2025-03-06T09:44:18Z) - User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
この研究はHuman-Centered Artificial Intelligence (HCAI)にある。
一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
論文 参考訳（メタデータ） (2024-10-21T12:32:39Z) - InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation [79.09622602860703]
3つの重要な特徴を持つベンチマークデータセットであるInsightBenchを紹介します。
財務やインシデント管理といったさまざまなビジネスユースケースを表す100のデータセットで構成されている。
単一のクエリに回答することに焦点を当てた既存のベンチマークとは異なり、InsightBenchは、エンドツーエンドのデータ分析を実行する能力に基づいてエージェントを評価する。
論文 参考訳（メタデータ） (2024-07-08T22:06:09Z) - EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。
我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。
このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
論文 参考訳（メタデータ） (2024-05-20T14:16:06Z) - Evaluating Explainability in Machine Learning Predictions through Explainer-Agnostic Metrics [0.0]
我々は,モデル予測が説明できる範囲を定量化するために,6つの異なるモデルに依存しないメトリクスを開発した。
これらのメトリクスは、局所的な重要性、グローバルな重要性、代理予測など、モデル説明可能性のさまざまな側面を測定する。
分類と回帰タスクにおけるこれらのメトリクスの実用性を実証し、これらのメトリクスを公開のために既存のPythonパッケージに統合する。
論文 参考訳（メタデータ） (2023-02-23T15:28:36Z) - The Meta-Evaluation Problem in Explainable AI: Identifying Reliable
Estimators with MetaQuantus [10.135749005469686]
説明可能なAI(XAI)分野における未解決課題の1つは、説明方法の品質を最も確実に見積もる方法を決定することである。
我々は、XAIの異なる品質推定器のメタ評価を通じてこの問題に対処する。
我々の新しいフレームワークMetaQuantusは、品質推定器の2つの相補的な性能特性を解析する。
論文 参考訳（メタデータ） (2023-02-14T18:59:02Z) - Latent Properties of Lifelong Learning Systems [59.50307752165016]
本稿では,生涯学習アルゴリズムの潜伏特性を推定するために,アルゴリズムに依存しないサロゲート・モデリング手法を提案する。
合成データを用いた実験により,これらの特性を推定するためのアプローチを検証する。
論文 参考訳（メタデータ） (2022-07-28T20:58:13Z) - Exploring the Trade-off between Plausibility, Change Intensity and
Adversarial Power in Counterfactual Explanations using Multi-objective
Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。
本稿では, 対実例生成のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-20T15:02:53Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。