論文の概要: Evaluate with the Inverse: Efficient Approximation of Latent Explanation Quality Distribution
- arxiv url: http://arxiv.org/abs/2502.15403v1
- Date: Fri, 21 Feb 2025 12:04:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-24 19:42:14.244585
- Title: Evaluate with the Inverse: Efficient Approximation of Latent Explanation Quality Distribution
- Title（参考訳）: 逆による評価:潜在説明品質分布の効率的な近似
- Authors: Carlos Eiras-Franco, Anna Hedström, Marina M. -C. Höhne,
- Abstract要約: こうした説明の質を測る手段としては、XAIの実践者が頼りにしている。
伝統的に、説明の質はランダムに生成されたものと比較することで評価されてきた。
本稿では,QGE(Quality Gap Estimate)という代替手法を紹介する。
- 参考スコア（独自算出の注目度）: 3.0658381192498907
- License:
- Abstract: Obtaining high-quality explanations of a model's output enables developers to identify and correct biases, align the system's behavior with human values, and ensure ethical compliance. Explainable Artificial Intelligence (XAI) practitioners rely on specific measures to gauge the quality of such explanations. These measures assess key attributes, such as how closely an explanation aligns with a model's decision process (faithfulness), how accurately it pinpoints the relevant input features (localization), and its consistency across different cases (robustness). Despite providing valuable information, these measures do not fully address a critical practitioner's concern: how does the quality of a given explanation compare to other potential explanations? Traditionally, the quality of an explanation has been assessed by comparing it to a randomly generated counterpart. This paper introduces an alternative: the Quality Gap Estimate (QGE). The QGE method offers a direct comparison to what can be viewed as the `inverse' explanation, one that conceptually represents the antithesis of the original explanation. Our extensive testing across multiple model architectures, datasets, and established quality metrics demonstrates that the QGE method is superior to the traditional approach. Furthermore, we show that QGE enhances the statistical reliability of these quality assessments. This advance represents a significant step toward a more insightful evaluation of explanations that enables a more effective inspection of a model's behavior.
- Abstract（参考訳）: モデルの出力に関する高品質な説明を得ることで、開発者はバイアスを特定し修正し、システムの振る舞いを人的価値と整合させ、倫理的コンプライアンスを確保することができる。
説明可能な人工知能(XAI)の実践者は、そのような説明の質を評価するための具体的な手段に頼っている。
これらの尺度は、説明がモデルの意思決定プロセス(忠実さ)とどの程度密接に一致しているか、関連する入力特徴(ローカライゼーション)をどれだけ正確に特定するか、そして異なるケース(悪質さ)でその一貫性を測るなど、重要な属性を評価する。
貴重な情報を提供しているにもかかわらず、これらの措置は批判的な実践者の懸念に完全に対処するものではない。
伝統的に、説明の質はランダムに生成されたものと比較することで評価されてきた。
本稿では,QGE(Quality Gap Estimate)という代替手法を紹介する。
QGE法は、オリジナルの説明のアンチテーゼを概念的に表す「逆」説明と見られるものを直接比較する。
複数のモデルアーキテクチャ、データセット、確立された品質メトリクスにわたる広範なテストでは、QGEメソッドが従来のアプローチよりも優れていることが示されています。
さらに,QGEは,これらの品質評価の統計的信頼性を高める。
この進歩は、モデル行動のより効果的な検査を可能にする説明のより洞察に富んだ評価に向けた重要なステップである。
関連論文リスト
- AI-Generated Image Quality Assessment Based on Task-Specific Prompt and Multi-Granularity Similarity [62.00987205438436]
本稿では,TSP-MGSというAIGIの品質評価手法を提案する。
タスク固有のプロンプトを設計し、AIGIとプロンプトの多粒度類似度を測定する。
一般的に使用されるAGIQA-1KとAGIQA-3Kベンチマークの実験は、提案されたTSP-MGSの優位性を示している。
論文 参考訳（メタデータ） (2024-11-25T04:47:53Z) - BEExAI: Benchmark to Evaluate Explainable AI [0.9176056742068812]
本稿では,ポストホックXAI手法の大規模比較を可能にするベンチマークツールであるBEExAIを提案する。
説明の質と正確性を測定するための信頼性の高い方法の必要性が重要になっていると論じる。
論文 参考訳（メタデータ） (2024-07-29T11:21:17Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳（メタデータ） (2024-04-23T11:45:32Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - On the stability, correctness and plausibility of visual explanation
methods based on feature importance [0.0]
画像分類器の特徴的重要性に基づいて, 説明の安定性, 正確性, 妥当性の相違について検討した。
これらの特性を評価するための既存の指標は必ずしも一致せず、説明のための優れた評価基準を構成するものの問題を提起する。
論文 参考訳（メタデータ） (2023-10-25T08:59:21Z) - The Meta-Evaluation Problem in Explainable AI: Identifying Reliable
Estimators with MetaQuantus [10.135749005469686]
説明可能なAI(XAI)分野における未解決課題の1つは、説明方法の品質を最も確実に見積もる方法を決定することである。
我々は、XAIの異なる品質推定器のメタ評価を通じてこの問題に対処する。
我々の新しいフレームワークMetaQuantusは、品質推定器の2つの相補的な性能特性を解析する。
論文 参考訳（メタデータ） (2023-02-14T18:59:02Z) - VisFIS: Visual Feature Importance Supervision with
Right-for-the-Right-Reason Objectives [84.48039784446166]
モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。
我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。
説明が妥当で忠実な場合には予測がより正確になる。
論文 参考訳（メタデータ） (2022-06-22T17:02:01Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-25T03:40:59Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳（メタデータ） (2022-03-30T05:59:50Z) - A Meta Survey of Quality Evaluation Criteria in Explanation Methods [0.5801044612920815]
説明可能な人工知能(XAI)において、説明方法とその評価が重要な問題となっている。
最も正確なAIモデルは透明性と理解性の低い不透明であるため、バイアスの検出と不確実性の制御には説明が不可欠である。
説明方法の品質を評価する際には、選択すべき基準が多々ある。
論文 参考訳（メタデータ） (2022-03-25T22:24:21Z) - Diagnostics-Guided Explanation Generation [32.97930902104502]
説明は機械学習モデルの合理性に光を当て、推論プロセスにおける欠陥の特定に役立ちます。
文レベルの説明を生成するためにモデルを訓練する際、いくつかの診断特性を最適化する方法を示す。
論文 参考訳（メタデータ） (2021-09-08T16:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。