論文の概要: XAI-Arena: Can LLMs Assess the Quality of XAI Explanations?
- arxiv url: http://arxiv.org/abs/2609.09428v1
- Date: Tue, 08 Sep 2026 20:25:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.812439
- Title: XAI-Arena: Can LLMs Assess the Quality of XAI Explanations?
- Title（参考訳）: XAI-Arena: LLMはXAI説明の質を評価することができるか?
- Abstract要約: 我々は、XAI説明品質のスケーラブルで再現性があり、多次元で、利害関係者に敏感な評価を行うフレームワークであるXAI-Arenaを紹介する。
XAI-Arenaは、単純さ、明快さ、タスクの妥当性、信頼の校正、行動可能性、透明性、忠実さ、全体的な解釈可能性など、さまざまな側面のXAI説明を比較することができます。
次に、さまざまなデータセット、機械学習モデル、ステークホルダペルソナのXAI説明方法をベンチマークする。
- 参考スコア（独自算出の注目度）: 31.10112099627996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating the quality of explanations produced by explainable AI (XAI) methods remains challenging because existing approaches often rely on subjective human judgment, limiting reproducibility, scalability, and comparability between studies. We examine whether LLMs can serve as a reproducible and scalable mechanism to make comparative assessments of the quality of XAI explanations. We introduce XAI-Arena, an LLM-as-a-judge framework for scalable, reproducible, multidimensional, and stakeholder-sensitive evaluation of XAI explanation quality. XAI-Arena then allows us to compare XAI explanations along various dimensions, namely, perceived simplicity, clarity, task adequacy, trust calibration, actionability, transparency, faithfulness, and overall interpretability. We then benchmark XAI explanation methods across various datasets, machine learning models, and stakeholder personas. Human validation shows a strong positive association between LLM-generated and human ratings (Spearman's rho=.693, p<.001). Together, LLM-based evaluations can capture systematic differences in XAI explanation quality and provide a scalable and reproducible framework for comparative assessment of XAI explanations.
- Abstract（参考訳）: 既存のアプローチは、しばしば主観的な人間の判断、再現性、スケーラビリティ、研究間の互換性に頼っているため、説明可能なAI(XAI)手法による説明の質を評価することは依然として難しい。
我々は,LLMが再現可能かつスケーラブルな機構として機能し,XAI説明の質を比較評価できるかどうかを検討する。
我々は,拡張性,再現性,多次元,利害関係者に敏感なXAI説明品質評価のためのLLM-as-a-judgeフレームワークであるXAI-Arenaを紹介する。
XAI-Arenaでは、単純さ、明快さ、タスクの妥当性、信頼の校正、行動可能性、透明性、忠実さ、全体的な解釈可能性など、さまざまな側面のXAI説明を比較することができます。
次に、さまざまなデータセット、機械学習モデル、ステークホルダペルソナのXAI説明方法をベンチマークする。
ヒトの検証は、LLM生成とヒトのレーティング(Spearman's rho=.693, p<.001)の間に強い正の相関を示す。
LLMに基づく評価は、XAI説明の品質の体系的な違いを捉えることができ、XAI説明の比較評価のためのスケーラブルで再現可能なフレームワークを提供する。
関連論文リスト
- ForenX: Towards Explainable AI-Generated Image Detection with Multimodal Large Language Models [82.04858317800097]
ForenXは画像の真正性を識別するだけでなく、人間の思考に共鳴する説明を提供する新しい手法である。
ForenXは、強力なマルチモーダル大言語モデル(MLLM)を使用して、法医学的な手がかりを分析し、解釈する。
本稿では,AI生成画像における偽証拠の記述専用のデータセットであるForgReasonを紹介する。
論文 参考訳（メタデータ） (2025-08-02T15:21:26Z) - Mind the XAI Gap: A Human-Centered LLM Framework for Democratizing Explainable AI [3.301842921686179]
我々は,専門家や非専門家のニーズに合わせて,透明性と人間中心の説明を保証する枠組みを導入する。
本フレームワークは,専門家以外の専門家が理解可能な1つの応答説明と専門家への技術的情報にカプセル化されている。
論文 参考訳（メタデータ） (2025-06-13T21:41:07Z) - Explainable artificial intelligence (XAI): from inherent explainability to large language models [0.0]
説明可能なAI(XAI)技術は、機械学習モデルの説明可能性や解釈可能性を促進する。
本稿では、本質的に解釈可能なモデルから現代的なアプローチまで、説明可能なAI手法の進歩について詳述する。
我々は、視覚言語モデル(VLM)フレームワークを利用して、他の機械学習モデルの説明可能性を自動化または改善する説明可能なAI技術についてレビューする。
論文 参考訳（メタデータ） (2025-01-17T06:16:57Z) - SCENE: Evaluating Explainable AI Techniques Using Soft Counterfactuals [0.0]
本稿では,新たな評価手法であるSCENE(Soft Counterfactual Evaluation for Natural Language Explainability)を紹介する。
トークンベースの置換に焦点を当てることで、SCENEは文脈的に適切で意味論的に意味のあるソフトカウンタブルを作成する。
SCENEは様々なXAI技法の強みと限界についての貴重な洞察を提供する。
論文 参考訳（メタデータ） (2024-08-08T16:36:24Z) - EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。
我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。
このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
論文 参考訳（メタデータ） (2024-05-20T14:16:06Z) - LLMs for XAI: Future Directions for Explaining Explanations [50.87311607612179]
既存のXAIアルゴリズムを用いて計算した説明の精細化に着目する。
最初の実験とユーザスタディは、LLMがXAIの解釈可能性とユーザビリティを高めるための有望な方法を提供することを示唆している。
論文 参考訳（メタデータ） (2024-05-09T19:17:47Z) - Usable XAI: 10 Strategies Towards Exploiting Explainability in the LLM Era [76.12435556140515]
XAIは大規模言語モデル(LLM)の説明に向けて拡張されている
本稿では、XAIがLLMベースのAIシステムをどのように説明し、改善するかを分析する。
10の戦略を導入し、それぞれに重要なテクニックを導入し、関連する課題について議論します。
論文 参考訳（メタデータ） (2024-03-13T20:25:27Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - The Meta-Evaluation Problem in Explainable AI: Identifying Reliable
Estimators with MetaQuantus [10.135749005469686]
説明可能なAI(XAI)分野における未解決課題の1つは、説明方法の品質を最も確実に見積もる方法を決定することである。
我々は、XAIの異なる品質推定器のメタ評価を通じてこの問題に対処する。
我々の新しいフレームワークMetaQuantusは、品質推定器の2つの相補的な性能特性を解析する。
論文 参考訳（メタデータ） (2023-02-14T18:59:02Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳（メタデータ） (2022-06-22T05:17:33Z) - Beyond Explaining: Opportunities and Challenges of XAI-Based Model
Improvement [75.00655434905417]
説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。
本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。
実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
論文 参考訳（メタデータ） (2022-03-15T15:44:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。