論文の概要: Rethinking Attention-Model Explainability through Faithfulness Violation Test

• arxiv url: http://arxiv.org/abs/2201.12114v1
• Date: Fri, 28 Jan 2022 13:42:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-31 19:47:32.446908
• Title: Rethinking Attention-Model Explainability through Faithfulness Violation Test
• Title（参考訳）: 忠実性侵害テストによる注意モデル説明可能性の再検討
• Authors: Yibing Liu, Haoliang Li, Yangyang Guo, Chenqi Kong, Jing Li, Shiqi Wang
• Abstract要約: Attentio$odot$Gradient や LRP ベースのアテンション説明など,現在のアテンションベース手法の説明可能性について検討する。 テストされたほとんどの説明手法は、信頼度違反の問題によって予期せぬ障害を受けていることが示される。
• 参考スコア（独自算出の注目度）: 29.982295060192904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention mechanisms are dominating the explainability of deep models. They produce probability distributions over the input, which are widely deemed as feature-importance indicators. However, in this paper, we find one critical limitation in attention explanations: weakness in identifying the polarity of feature impact. This would be somehow misleading -- features with higher attention weights may not faithfully contribute to model predictions; instead, they can impose suppression effects. With this finding, we reflect on the explainability of current attention-based techniques, such as Attentio$\odot$Gradient and LRP-based attention explanations. We first propose an actionable diagnostic methodology (henceforth faithfulness violation test) to measure the consistency between explanation weights and the impact polarity. Through the extensive experiments, we then show that most tested explanation methods are unexpectedly hindered by the faithfulness violation issue, especially the raw attention. Empirical analyses on the factors affecting violation issues further provide useful observations for adopting explanation methods in attention models.
• Abstract（参考訳）: 注意機構は深層モデルの説明可能性を支配している。 それらは入力上の確率分布を生成し、特徴重要度指標として広く見なされている。 しかし,本論文では,機能的影響の極性を識別する弱さという,注意的説明に重要な制限がある。 注意重みが高い機能はモデル予測に忠実に寄与しないかもしれないし、代わりに抑制効果を課すことができる。 本稿では,現在の注意に基づく手法であるattentio$\odot$gradient や lrp-based attention descriptions について考察する。 本稿ではまず,説明重みと衝突極性との整合性を測定するための実用的な診断手法を提案する。 広範な実験を通じ,ほとんどの説明手法が不意に忠実性侵害問題,特に生の注意によって妨げられていることを示した。 違反問題に影響を及ぼす要因に関する実証分析は、注意モデルにおける説明法の適用に有用である。

関連論文リスト

• Investigating the Impact of Model Instability on Explanations and Uncertainty [43.254616360807496]
  テキスト入力における不確かさを推測時に雑音を導入することでシミュレートする。 高い不確実性は必ずしも説明可能性の低さを暗示しない。 このことは、ノイズ増強モデルが不確実性のあるトークンを特定するのに優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-02-20T13:41:21Z)
• On the Onset of Robust Overfitting in Adversarial Training [66.27055915739331]
  Adversarial Training (AT)は、堅牢なニューラルネットワークを構築するために広く使われているアルゴリズムである。 ATは、堅牢なオーバーフィッティングの問題に悩まされているが、その基本的なメカニズムはまだ不明だ。
  論文  参考訳（メタデータ） (2023-10-01T07:57:03Z)
• Revisiting the Fragility of Influence Functions [1.4699455652461724]
  残余が損失に与える影響を近似した影響関数は、ディープラーニングモデルの正確性や忠実性を検証するために提案されている。 ここでは、影響関数の検証に使用される主要な指標を分析する。 以上の結果から,検証作業が不明確になる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-03-22T21:36:56Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• Attention cannot be an Explanation [99.37090317971312]
  私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-01-26T21:34:05Z)
• Is Sparse Attention more Interpretable? [52.85910570651047]
  我々は,空間が注意力を説明可能性ツールとして活用する能力にどのように影響するかを検討する。 入力とインデックス付き中間表現の間には弱い関係しか存在しません。 この設定では、疎度を誘導することで、モデルの振る舞いを理解するためのツールとして注意が使用できることが、より確実になる可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-06-02T11:42:56Z)
• Why Attentions May Not Be Interpretable? [46.69116768203185]
  近年の研究では、注目・重要解釈は期待どおりに機能しないことが多いことが判明した。 この現象の根本原因の一つがショートカットであり、注意重み自体が余分な情報を運ぶ可能性があることを示している。 この問題を緩和する2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T05:08:30Z)
• Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals [53.484562601127195]
  調査結果から行動学的結論を推測できない点を指摘する。 我々は、どの情報がエンコードされているかではなく、その情報がどのように使われているかに焦点を当てた代替手段を提供する。
  論文  参考訳（メタデータ） (2020-06-01T15:00:11Z)
• Towards Transparent and Explainable Attention Models [34.0557018891191]
  まず,LSTMをベースとしたエンコーダにおける現在の注意機構が,モデルの予測を忠実に,あるいは妥当に説明できない理由を説明する。 本研究では,異なる時間ステップで学習した隠れ表現が多様であることを保証するため,多様性駆動型学習目標を持つLSTM細胞を改良した。 人的評価は,本モデルが学習した注意分布が,モデルの予測を妥当に説明できることを示唆している。
  論文  参考訳（メタデータ） (2020-04-29T14:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。