論文の概要: REVEL Framework to measure Local Linear Explanations for black-box models: Deep Learning Image Classification case of study

• arxiv url: http://arxiv.org/abs/2211.06154v1
• Date: Fri, 11 Nov 2022 12:15:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 16:25:03.060892
• Title: REVEL Framework to measure Local Linear Explanations for black-box models: Deep Learning Image Classification case of study
• Title（参考訳）: ブラックボックスモデルにおける局所線形説明計測のためのREVELフレームワーク:ディープラーニング画像分類の事例
• Authors: Iv\'an Sevillano-Garc\'ia, Juli\'an Luengo-Mart\'in and Francisco Herrera
• Abstract要約: 本稿では,理論的コヒーレントな発展を伴う説明の質に関する諸側面を評価するためのREVELと呼ばれる手法を提案する。 実験は,REVELの記述的および解析的パワーを示すベンチマークとして,画像4つのデータセットを用いて実施されている。
• 参考スコア（独自算出の注目度）: 12.49538398746092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainable artificial intelligence is proposed to provide explanations for reasoning performed by an Artificial Intelligence. There is no consensus on how to evaluate the quality of these explanations, since even the definition of explanation itself is not clear in the literature. In particular, for the widely known Local Linear Explanations, there are qualitative proposals for the evaluation of explanations, although they suffer from theoretical inconsistencies. The case of image is even more problematic, where a visual explanation seems to explain a decision while detecting edges is what it really does. There are a large number of metrics in the literature specialized in quantitatively measuring different qualitative aspects so we should be able to develop metrics capable of measuring in a robust and correct way the desirable aspects of the explanations. In this paper, we propose a procedure called REVEL to evaluate different aspects concerning the quality of explanations with a theoretically coherent development. This procedure has several advances in the state of the art: it standardizes the concepts of explanation and develops a series of metrics not only to be able to compare between them but also to obtain absolute information regarding the explanation itself. The experiments have been carried out on image four datasets as benchmark where we show REVEL's descriptive and analytical power.
• Abstract（参考訳）: 人工知能が行う推論の説明を提供するために、説明可能な人工知能を提案する。 これらの説明の質を評価する方法については、文献で説明の定義自体が明確でないため、合意が得られていない。 特に、広く知られている局所線形説明には、理論的に矛盾しているにもかかわらず、説明を評価するための定性的な提案がある。 画像の場合はさらに問題になり、エッジを検出しながら判断を説明する視覚的な説明が実際に行われている。 様々な質的な側面を定量的に測定することに特化した文献には、多数のメトリクスがあるので、説明の望ましい側面を堅牢で正しい方法で測定できるメトリクスを開発できるはずです。 本稿では,理論的コヒーレントな発展を伴う説明の質に関する諸側面を評価するためのREVELと呼ばれる手法を提案する。 この手順は、説明の概念を標準化し、それらを比較できるだけでなく、説明そのものに関する絶対的な情報を得るための一連のメトリクスを開発する。 画像4データセットをベンチマークとして実験を行い,revelの記述的・分析的パワーを示す。

関連論文リスト

• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• XAI Benchmark for Visual Explanation [15.687509357300847]
  人間の説明アノテーションを持つ8つのデータセットからなる視覚的説明のためのベンチマークを開発する。 データ読み込み、説明生成、メソッド評価を含む視覚的説明パイプラインを考案する。 提案するベンチマークは,視覚的説明手法の公正な評価と比較を容易にする。
  論文  参考訳（メタデータ） (2023-10-12T17:26:16Z)
• Measuring Information in Text Explanations [23.929076318334047]
  情報理論の枠組みに説明を配置することで、2つの一般的なテキスト説明手法の評価を統一することができると論じる。 これらのチャネルを流れる情報の流れを定量化し、説明特性の評価を容易にする。 我々の研究は、説明可能なAIの急速に発展する分野において、厳格で標準化された評価基準を確立するための継続的な努力に貢献している。
  論文  参考訳（メタデータ） (2023-10-06T19:46:51Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
  テキストデータ上でのサリエンシに基づく説明について検討する。 人はしばしば説明を誤って解釈する。 本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-27T15:20:32Z)
• Detection Accuracy for Evaluating Compositional Explanations of Units [5.220940151628734]
  このアプローチを使う方法の2つの例は、ネットワーク分割と構成的説明である。 直感的には、論理形式は原子概念よりも情報的であるが、この改善を定量化する方法は明らかではない。 提案手法は,各ユニットが割り当てた説明文の検出の一貫性を計測する検出精度の評価指標として用いる。
  論文  参考訳（メタデータ） (2021-09-16T08:47:34Z)
• To trust or not to trust an explanation: using LEAF to evaluate local linear XAI methods [0.0]
  実際に説明を定量的に評価する方法については合意がない。 説明は一般にブラックボックスモデルの検査にのみ使用され、意思決定支援としての説明の積極的な使用は一般的に見過ごされる。 XAIへの多くのアプローチのうち、広く採用されているパラダイムは、局所線形説明(Local Linear Explanations)である。 これらの手法は不安定な説明、約束された理論特性からの実際の実装のばらつき、間違ったラベルの説明など、多くの欠陥に悩まされている。 これは標準的かつ偏見のない評価手順の必要性を強調している。
  論文  参考訳（メタデータ） (2021-06-01T13:14:12Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• Benchmarking and Survey of Explanation Methods for Black Box Models [9.747543620322956]
  返された説明の種類に基づいて、説明方法の分類を提供します。 本稿では,最も最近広く使われている説明器を紹介し,説明の視覚的比較と定量的ベンチマークを示す。
  論文  参考訳（メタデータ） (2021-02-25T18:50:29Z)
• Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
  本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。 説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
  論文  参考訳（メタデータ） (2020-12-01T23:40:21Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。