論文の概要: Evaluation Cards for XAI Metrics

• arxiv url: http://arxiv.org/abs/2605.04410v1
• Date: Wed, 06 May 2026 02:06:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.603929
• Title: Evaluation Cards for XAI Metrics
• Title（参考訳）: XAI Metrics の評価カード
• Abstract要約: モデルカードに類似したドキュメンテーションテンプレートであるXAI Evaluation Cardを提案する。 このカードは、ターゲットプロパティの明示的な宣言、基盤レベル、メートル法仮定、検証証拠、ゲームリスク、既知の障害ケースをカバーしている。 我々は、このテンプレートをコミュニティの規範として採用することで、評価の断片化を減らし、メタ分析をサポートし、XAI研究における説明責任を向上させることができると論じている。
• 参考スコア（独自算出の注目度）: 0.038196178521289315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The evaluation of explainable AI (XAI) methods is affected by a lack of standardization. Metrics are inconsistently defined, incompletely reported, and rarely validated against common baselines. In this paper, we identify transparency of evaluation reporting as a central, under-addressed problem. We propose the XAI Evaluation Card, a documentation template analogous to model cards, designed to accompany any study that introduces an XAI evaluation metric. The card covers explicit declaration of target properties, grounding levels, metric assumptions, validation evidence, gaming risks, and known failure cases. We argue that adopting this template as a community norm would reduce evaluation fragmentation, support meta-analysis, and improve accountability in XAI research.
• Abstract（参考訳）: 説明可能なAI(XAI)手法の評価は、標準化の欠如の影響を受けている。 メトリクスは矛盾なく定義され、不完全報告され、共通のベースラインに対して検証されることはめったにない。 本稿では,評価報告の透明性を中心的,非適応的な問題として認識する。 モデルカードに類似したドキュメンテーションテンプレートであるXAI評価カードを提案する。 このカードは、ターゲットプロパティの明示的な宣言、基盤レベル、メートル法仮定、検証証拠、ゲームリスク、既知の障害ケースをカバーしている。 我々は、このテンプレートをコミュニティの規範として採用することで、評価の断片化を減らし、メタ分析をサポートし、XAI研究における説明責任を向上させることができると論じている。

関連論文リスト

• AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation [48.55515767840701]
  AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。 本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
  論文  参考訳（メタデータ） (2026-08-26T11:48:38Z)
• Models That Know How Evaluations Are Designed Score Safer [38.21092181000792]
  評価を特徴付ける構造特性に関するパラメトリック知識として定義されるメタ知識の評価について検討する。 評価手法を記述したテキストでトレーニングされたモデルでは、評価のようなコンテキストを認識して反応することが暗黙的に学習される可能性があるという仮説を立てる。 この結果から,評価メタ知識は,明示的な記憶や言語的評価意識に依存しない新しい共同創設者を導入することにより,安全性ベンチマークのパフォーマンスを向上させる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-27T15:11:35Z)
• Position: Science of AI Evaluation Requires Item-level Benchmark Data [42.82377343454172]
  我々は、AI評価の厳密な科学を確立するためには、アイテムレベルのAIベンチマークデータが不可欠であると主張している。 コミュニティ全体の採用を促進するため、アイテムレベルのベンチマークデータの増大するレポジトリであるOpenEvalを紹介します。
  論文  参考訳（メタデータ） (2026-02-27T04:31:30Z)
• PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
  本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。 PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。 本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
  論文  参考訳（メタデータ） (2026-01-07T04:26:12Z)
• Unifying VXAI: A Systematic Review and Framework for the Evaluation of Explainable AI [4.715895520943978]
  説明可能なAI(XAI)は、モデル行動に関する人間の理解可能な説明を提供することで、この問題に対処する。 XAIメソッドの増加にもかかわらず、フィールドには標準化された評価プロトコルと適切なメトリクスに関するコンセンサスがない。 我々は、XAI(VXAI)のeValuationのための統一的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-06-18T12:25:37Z)
• SEOE: A Scalable and Reliable Semantic Evaluation Framework for Open Domain Event Detection [70.23196257213829]
  オープンドメインイベント検出のためのスケーラブルで信頼性の高いセマンティックレベルの評価フレームワークを提案する。 提案フレームワークはまず,現在7つの主要ドメインをカバーする564のイベントタイプを含む,スケーラブルな評価ベンチマークを構築した。 次に,大言語モデル(LLM)を自動評価エージェントとして活用し,意味的類似ラベルのきめ細かい定義を取り入れた意味的F1スコアを計算する。
  論文  参考訳（メタデータ） (2025-03-05T09:37:05Z)
• Developing Guidelines for Functionally-Grounded Evaluation of Explainable Artificial Intelligence using Tabular Data [5.864471607396997]
  我々は,評価基準と関連する評価手法を20種類同定し,各基準をいつ,どのように評価すべきかに関するガイドラインを導出する。 本研究は,XAI評価プロトコルの詳細な検討を通じて,XAI評価に関する知識の体系化に寄与する。
  論文  参考訳（メタデータ） (2024-09-30T11:42:54Z)
• A Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attributions [60.06461883533697]
  まず、属性手法の信頼性ベンチマークが満たすであろう信頼度基準のセットを同定する。 次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。 我々の分析はまた、属性を利用して神経トロイの木馬を守るための洞察を提供する。
  論文  参考訳（メタデータ） (2024-05-02T13:48:37Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• An Experimental Investigation into the Evaluation of Explainability Methods [60.54170260771932]
  この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。 実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
  論文  参考訳（メタデータ） (2023-05-25T08:07:07Z)
• Realistic Evaluation Principles for Cross-document Coreference Resolution [19.95214898312209]
  我々は、モデルが標準ECB+データセットの合成トピック構造を利用するべきではないと主張している。 私たちは、より現実的な評価原則が競争モデルに与える影響を実証的に示します。
  論文  参考訳（メタデータ） (2021-06-08T09:05:21Z)
• Data Representing Ground-Truth Explanations to Evaluate XAI Methods [0.0]
  現在、説明可能な人工知能(XAI)手法は、主に解釈可能な機械学習(IML)研究に由来するアプローチで評価されている。 本稿では,XAI手法の精度を評価するために用いられる正準方程式を用いた説明法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T16:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。