論文の概要: A Song of (Dis)agreement: Evaluating the Evaluation of Explainable
Artificial Intelligence in Natural Language Processing
- arxiv url: http://arxiv.org/abs/2205.04559v1
- Date: Mon, 9 May 2022 21:07:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-12 17:15:17.619878
- Title: A Song of (Dis)agreement: Evaluating the Evaluation of Explainable
Artificial Intelligence in Natural Language Processing
- Title（参考訳）: disの語源:自然言語処理における説明可能な人工知能の評価
- Authors: Michael Neely, Stefan F. Schouten, Maurits Bleeker, Ana Lucic
- Abstract要約: 我々は、注意に基づく説明のための評価指標としてランク相関を用いるのをやめるべきであると主張している。
注意に基づく説明は,最近の特徴帰属法と強く相関しないことがわかった。
- 参考スコア（独自算出の注目度）: 7.527234046228323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There has been significant debate in the NLP community about whether or not
attention weights can be used as an explanation - a mechanism for interpreting
how important each input token is for a particular prediction. The validity of
"attention as explanation" has so far been evaluated by computing the rank
correlation between attention-based explanations and existing feature
attribution explanations using LSTM-based models. In our work, we (i) compare
the rank correlation between five more recent feature attribution methods and
two attention-based methods, on two types of NLP tasks, and (ii) extend this
analysis to also include transformer-based models. We find that attention-based
explanations do not correlate strongly with any recent feature attribution
methods, regardless of the model or task. Furthermore, we find that none of the
tested explanations correlate strongly with one another for the
transformer-based model, leading us to question the underlying assumption that
we should measure the validity of attention-based explanations based on how
well they correlate with existing feature attribution explanation methods.
After conducting experiments on five datasets using two different models, we
argue that the community should stop using rank correlation as an evaluation
metric for attention-based explanations. We suggest that researchers and
practitioners should instead test various explanation methods and employ a
human-in-the-loop process to determine if the explanations align with human
intuition for the particular use case at hand.
- Abstract（参考訳）: nlpコミュニティでは、注意重みが説明として使用できるかどうか、すなわち、各入力トークンが特定の予測にどれほど重要であるかを解釈するメカニズムとして、重要な議論がなされている。
LSTMモデルを用いて,注意に基づく説明と既存特徴帰属説明とのランク相関を計算し,「説明としての意図」の妥当性を評価した。
私たちの仕事では
(i)最近の5つの特徴帰属法と2つの注意に基づく方法のランク相関を2種類のnlpタスクで比較する。
(ii)この分析を拡張して、トランスフォーマティブベースのモデルも含む。
注意に基づく説明は、モデルやタスクに関係なく、最近の特徴帰属手法と強く相関しないことがわかった。
さらに, 検証された説明はいずれもトランスフォーマーモデルと強く相関しておらず, 既存の特徴帰属説明法とどのように相関するかに基づいて, 注意に基づく説明の有効性を測定するべきであるという仮定を疑問視する。
2つの異なるモデルを用いて5つのデータセットを実験した結果、コミュニティは注意に基づく説明のための評価指標としてランク相関の使用をやめるべきだと論じた。
研究者や実践者は、その代わりに様々な説明法をテストし、その説明が手元にある特定のユースケースに対する人間の直感と一致するかどうかを判断するために、人間-イン-ループプロセスを採用するべきである。
関連論文リスト
- Exploring the Plausibility of Hate and Counter Speech Detectors with Explainable AI [0.7317046947172644]
グラデーションベース,摂動ベース,注意ベース,プロトタイプベースという4つの異なる説明可能性アプローチを比較した。
その結果,摂動に基づく説明可能性が最も優れており,次に勾配に基づく説明可能性,注意に基づく説明可能性を示す。
論文 参考訳（メタデータ） (2024-07-25T10:17:04Z) - Explainability for Machine Learning Models: From Data Adaptability to
User Perception [0.8702432681310401]
この論文は、すでにデプロイされた機械学習モデルに対する局所的な説明の生成を探求する。
データとユーザ要件の両方を考慮して、意味のある説明を生み出すための最適な条件を特定することを目的としている。
論文 参考訳（メタデータ） (2024-02-16T18:44:37Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Counterfactuals of Counterfactuals: a back-translation-inspired approach
to analyse counterfactual editors [3.4253416336476246]
我々は、反事実的、対照的な説明の分析に焦点をあてる。
本稿では,新しい逆翻訳に基づく評価手法を提案する。
本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
論文 参考訳（メタデータ） (2023-05-26T16:04:28Z) - Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
テキストデータ上でのサリエンシに基づく説明について検討する。
人はしばしば説明を誤って解釈する。
本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
論文 参考訳（メタデータ） (2022-01-27T15:20:32Z) - Order in the Court: Explainable AI Methods Prone to Disagreement [0.0]
自然言語処理では、各入力トークンの独立的なコントリビューションをモデルの決定に向けて定量化する。
これまでの分析では、注意に基づく説明を忠実で妥当な救済の尺度として無効にするか、支持するかのどちらかを模索してきた。
ランク相関は概ね非形式的であり,特徴付加的手法の品質を計測しないことを示す。
論文 参考訳（メタデータ） (2021-05-07T14:27:37Z) - Towards Unifying Feature Attribution and Counterfactual Explanations:
Different Means to the Same End [17.226134854746267]
本稿では,一組の反実例から特徴帰属説明を生成する手法を提案する。
本報告では, 帰属に基づく説明の妥当性を, その必要性と充足性の観点から評価するために, 対実例をいかに活用するかを示す。
論文 参考訳（メタデータ） (2020-11-10T05:41:43Z) - Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial
Explanations of Their Behavior in Natural Language? [86.60613602337246]
我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。
LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。
マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
論文 参考訳（メタデータ） (2020-10-08T16:59:07Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳（メタデータ） (2020-09-23T09:45:23Z) - Evaluating Explainable AI: Which Algorithmic Explanations Help Users
Predict Model Behavior? [97.77183117452235]
我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。
方法の有効性の明確な証拠はごく少数にみえる。
以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
論文 参考訳（メタデータ） (2020-05-04T20:35:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。