論文の概要: Developing Guidelines for Functionally-Grounded Evaluation of Explainable Artificial Intelligence using Tabular Data

• arxiv url: http://arxiv.org/abs/2410.12803v1
• Date: Mon, 30 Sep 2024 11:42:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-20 10:10:30.049400
• Title: Developing Guidelines for Functionally-Grounded Evaluation of Explainable Artificial Intelligence using Tabular Data
• Title（参考訳）: 語彙データを用いた説明可能な人工知能機能評価ガイドラインの開発
• Authors: Mythreyi Velmurugan, Chun Ouyang, Yue Xu, Renuka Sindhgatta, Bemali Wickramanayake, Catarina Moreira,
• Abstract要約: 我々は,評価基準と関連する評価手法を20種類同定し,各基準をいつ,どのように評価すべきかに関するガイドラインを導出する。 本研究は,XAI評価プロトコルの詳細な検討を通じて,XAI評価に関する知識の体系化に寄与する。
• 参考スコア（独自算出の注目度）: 5.864471607396997
• License:
• Abstract: Explainable Artificial Intelligence (XAI) techniques are used to provide transparency to complex, opaque predictive models. However, these techniques are often designed for image and text data, and it is unclear how fit-for-purpose they are when applied to tabular data. As XAI techniques are rarely evaluated in settings with tabular data, the applicability of existing evaluation criteria and methods are also unclear and needs (re-)examination. For example, some works suggest that evaluation methods may unduly influence the evaluation results when using tabular data. This lack of clarity on evaluation procedures can lead to reduced transparency and ineffective use of XAI techniques in real world settings. In this study, we examine literature on XAI evaluation to derive guidelines on functionally-grounded assessment of local, post hoc XAI techniques. We identify 20 evaluation criteria and associated evaluation methods, and derive guidelines on when and how each criterion should be evaluated. We also identify key research gaps to be addressed by future work. Our study contributes to the body of knowledge on XAI evaluation through in-depth examination of functionally-grounded XAI evaluation protocols, and has laid the groundwork for future research on XAI evaluation.
• Abstract（参考訳）: 説明可能な人工知能(XAI)技術は、複雑で不透明な予測モデルへの透明性を提供するために使用される。 しかし,これらの手法は画像やテキストデータに対してしばしば設計されており,表形式データに適用した場合の目的がどの程度適しているかは明らかでない。 XAI技術は表形式のデータではほとんど評価されないため、既存の評価基準や手法の適用性も不明確であり、(再)検査が必要である。 例えば、いくつかの研究は、評価手法が表データを使用する際の評価結果に不適切に影響を及ぼす可能性があることを示唆している。 この評価手順の明確さの欠如は、現実の環境での透明性の低下とXAI技術の非効率な利用につながる可能性がある。 本研究では,XAI 評価に関する文献から,局所的,ポストホックな XAI 手法の機能的評価に関するガイドラインを導出する。 我々は,評価基準と関連する評価手法を20種類同定し,各基準をいつ,どのように評価すべきかに関するガイドラインを導出する。 また、今後の研究で対処すべき重要な研究ギャップも特定する。 本研究は,機能的なXAI評価プロトコルの詳細な検討を通じて,XAI評価に関する知識の体系化に貢献し,今後のXAI評価研究の基盤を築いた。

関連論文リスト

• Navigating the Maze of Explainable AI: A Systematic Approach to Evaluating Methods and Metrics [10.045644410833402]
  LATECは、20の異なる指標を用いて17の顕著なXAI手法を批判的に評価する大規模なベンチマークである。 信頼性の低いランキングに繋がるメトリクスの衝突リスクを実証し、その結果、より堅牢な評価手法を提案する。 LATECは将来のXAI研究における役割を強化し、326kのサリエンシマップと378kのメトリクススコアを(メタ評価)データセットとして公開している。
  論文  参考訳（メタデータ） (2024-09-25T09:07:46Z)
• SIDU-TXT: An XAI Algorithm for NLP with a Holistic Assessment Approach [14.928572140620245]
  画像に基づく分類において、正統領域全体を局所化する能力に優れる「相似性差と特異性」(SIDU)XAI法をテキストデータに拡張する。 拡張されたSIDU-TXTは、ブラックボックスモデルから特徴活性化マップを使用して、粒度の細かい単語ベースのヒートマップを生成する。 映画レビューデータセットの感情分析タスクにおいて,SIDU-TXTは機能的評価と人為的評価の両方において優れていることがわかった。
  論文  参考訳（メタデータ） (2024-02-05T14:29:54Z)
• How much informative is your XAI? A decision-making assessment task to objectively measure the goodness of explanations [53.01494092422942]
  XAIに対する個人化アプローチとユーザ中心アプローチの数は、近年急速に増加している。 ユーザ中心のXAIアプローチがユーザとシステム間のインタラクションに肯定的な影響を与えることが明らかとなった。 我々は,XAIシステムの良否を客観的かつ定量的に評価するための評価課題を提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:49:39Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• An Experimental Investigation into the Evaluation of Explainability Methods [60.54170260771932]
  この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。 実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
  論文  参考訳（メタデータ） (2023-05-25T08:07:07Z)
• Connecting Algorithmic Research and Usage Contexts: A Perspective of Contextualized Evaluation for Explainable AI [65.44737844681256]
  説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。 このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
  論文  参考訳（メタデータ） (2022-06-22T05:17:33Z)
• Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or Something Else? [93.91375268580806]
  政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。 既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。 既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
  論文  参考訳（メタデータ） (2021-11-09T13:30:34Z)
• Data Representing Ground-Truth Explanations to Evaluate XAI Methods [0.0]
  現在、説明可能な人工知能(XAI)手法は、主に解釈可能な機械学習(IML)研究に由来するアプローチで評価されている。 本稿では,XAI手法の精度を評価するために用いられる正準方程式を用いた説明法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T16:54:53Z)
• Interpretable Off-Policy Evaluation in Reinforcement Learning by Highlighting Influential Transitions [48.91284724066349]
  強化学習におけるオフ政治評価は、医療や教育などの領域における将来の成果を改善するために観察データを使用する機会を提供する。 信頼区間のような従来の尺度は、ノイズ、限られたデータ、不確実性のために不十分である可能性がある。 我々は,人間専門家が政策評価評価評価の妥当性を分析できるように,ハイブリッドAIシステムとして機能する手法を開発した。
  論文  参考訳（メタデータ） (2020-02-10T00:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。