論文の概要: How can we trust opaque systems? Criteria for robust explanations in XAI

• arxiv url: http://arxiv.org/abs/2508.12623v1
• Date: Mon, 18 Aug 2025 04:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.972936
• Title: How can we trust opaque systems? Criteria for robust explanations in XAI
• Title（参考訳）: 不透明なシステムをどうやって信頼できるか? : XAIにおける堅牢な説明の基準
• Authors: Florian J. Boge, Annika Schuster,
• Abstract要約: ディープラーニング(DL)アルゴリズムは、日常生活や科学研究においてユビキタスになりつつある。 DLシステムが提供するデータの特徴や、最終的に正しいアウトプットを予測するのにどのように成功するのかは、一般の人々や研究者にはよく分かっていない。 信頼できる説明に必要な基準は、アルゴリズムの予測がベースとしている関連するプロセスを反映すべきであるということである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning (DL) algorithms are becoming ubiquitous in everyday life and in scientific research. However, the price we pay for their impressively accurate predictions is significant: their inner workings are notoriously opaque - it is unknown to laypeople and researchers alike what features of the data a DL system focuses on and how it ultimately succeeds in predicting correct outputs. A necessary criterion for trustworthy explanations is that they should reflect the relevant processes the algorithms' predictions are based on. The field of eXplainable Artificial Intelligence (XAI) presents promising methods to create such explanations. But recent reviews about their performance offer reasons for skepticism. As we will argue, a good criterion for trustworthiness is explanatory robustness: different XAI methods produce the same explanations in comparable contexts. However, in some instances, all methods may give the same, but still wrong, explanation. We therefore argue that in addition to explanatory robustness (ER), a prior requirement of explanation method robustness (EMR) has to be fulfilled by every XAI method. Conversely, the robustness of an individual method is in itself insufficient for trustworthiness. In what follows, we develop and formalize criteria for ER as well as EMR, providing a framework for explaining and establishing trust in DL algorithms. We also highlight interesting application cases and outline directions for future work.
• Abstract（参考訳）: ディープラーニング(DL)アルゴリズムは、日常生活や科学研究においてユビキタスになりつつある。 DLシステムが注目するデータの特徴や、それが最終的に正しいアウトプットを予測するのにどのように成功するのかを、一般の人々や研究者はよく知らない。 信頼できる説明に必要な基準は、アルゴリズムの予測がベースとしている関連するプロセスを反映すべきであるということである。 eXplainable Artificial Intelligence (XAI) の分野は、そのような説明を作成するための有望な方法を提示している。 しかし、最近の彼らのパフォーマンスに関するレビューは懐疑的な理由を与えている。 私たちが論じるように、信頼感のよい基準は説明的堅牢性である:異なるXAIメソッドは、同等の文脈で同じ説明を生成する。 しかしながら、いくつかのケースでは、すべてのメソッドが同じ、しかしまだ間違っている、説明を与えます。 したがって,説明的ロバスト性(ER)に加えて,説明的ロバスト性(EMR)の事前要件をXAI法で満たさなければならない。 逆に、個々の手法の堅牢性は、それ自体は信頼性に不十分である。 以下に示すように,ER の基準と EMR を策定・定式化し,DL アルゴリズムの信頼性を記述・確立するための枠組みを提供する。 また、興味深いアプリケーションケースを強調し、今後の作業の方向性を説明します。

関連論文リスト

• A Unified Framework for Evaluating the Effectiveness and Enhancing the Transparency of Explainable AI Methods in Real-World Applications [2.0681376988193843]
  本研究では,XAIの単一評価フレームワークについて紹介する。 数字とユーザフィードバックの両方を使って、説明が正しいか、理解しやすく、公平で、完全で、信頼できるかをチェックする。 我々は、医療、金融、農業、自動運転システムにおけるケーススタディを通じて、この枠組みの価値を示す。
  論文  参考訳（メタデータ） (2024-12-05T05:30:10Z)
• Explainable AI needs formal notions of explanation correctness [2.1309989863595677]
  医学のような重要な分野における機械学習はリスクをもたらし、規制を必要とする。 1つの要件は、リスクの高いアプリケーションにおけるMLシステムの決定は、人間に理解可能なものであるべきです。 現在の形式では、XAIはMLの品質管理に不適であり、それ自体は精査が必要である。
  論文  参考訳（メタデータ） (2024-09-22T20:47:04Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Disagreement amongst counterfactual explanations: How transparency can be deceptive [0.0]
  偽物の説明は、説明可能な人工知能技術としてますます使われている。 すべてのアルゴリズムが同じインスタンスに対して一様説明を生成するわけではない。 悪意のあるエージェントがこの多様性を使って不公平な機械学習モデルに見合うと、倫理的な問題が生じる。
  論文  参考訳（メタデータ） (2023-04-25T09:15:37Z)
• Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles [50.81061839052459]
  我々は確率論的問題として、堅牢な対実的説明の生成を定式化する。 アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係を示す。 本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2022-05-27T17:28:54Z)
• TrustyAI Explainability Toolkit [1.0499611180329804]
  trustyaiが意思決定サービスと予測モデルに対する信頼をどのように支援できるか検討する。 我々は, LIME, SHAP, および対策技術について検討する。 また、評価対象の背景データ選択をサポートするSHAPの拡張バージョンについても検討します。
  論文  参考訳（メタデータ） (2021-04-26T17:00:32Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。