論文の概要: Attention cannot be an Explanation

• arxiv url: http://arxiv.org/abs/2201.11194v1
• Date: Wed, 26 Jan 2022 21:34:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-29 04:34:52.173690
• Title: Attention cannot be an Explanation
• Title（参考訳）: 注意は説明にはならない
• Authors: Arjun R Akula, Song-Chun Zhu
• Abstract要約: 私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 99.37090317971312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention based explanations (viz. saliency maps), by providing interpretability to black box models such as deep neural networks, are assumed to improve human trust and reliance in the underlying models. Recently, it has been shown that attention weights are frequently uncorrelated with gradient-based measures of feature importance. Motivated by this, we ask a follow-up question: "Assuming that we only consider the tasks where attention weights correlate well with feature importance, how effective are these attention based explanations in increasing human trust and reliance in the underlying models?". In other words, can we use attention as an explanation? We perform extensive human study experiments that aim to qualitatively and quantitatively assess the degree to which attention based explanations are suitable in increasing human trust and reliance. Our experiment results show that attention cannot be used as an explanation.
• Abstract（参考訳）: 深いニューラルネットワークのようなブラックボックスモデルに解釈可能性を提供することによって、注意に基づく説明(viz. saliency map)は、基礎となるモデルに対する人間の信頼と信頼を改善すると仮定される。 近年,注意重みは,特徴量の勾配に基づく尺度とは無関係であることが示されている。 注意の重み付けが特徴の重要度とよく相関するタスクのみを考えると、これらの注意に基づく説明は、人間の信頼と基礎となるモデルへの依存度を高める上で、どの程度効果的か? 言い換えれば、注意を説明として利用できますか? 我々は,人間の信頼と信頼の増大に注意に基づく説明が適する程度を質的かつ定量的に評価することを目的とした,広範な人間実験を行う。 実験の結果,注意は説明として利用できないことがわかった。

関連論文リスト

• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• Do Transformer Models Show Similar Attention Patterns to Task-Specific Human Gaze? [0.0]
  最先端のNLPモデルにおける自己注意機能は、人間の注意と相関することが多い。 本研究では、大規模事前学習言語モデルにおける自己注意が、人間の注意の古典的認知モデルとしての課題読解における人間の眼球固定パターンの予測であるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-04-25T08:23:13Z)
• Attention in Reasoning: Dataset, Analysis, and Modeling [31.3104693230952]
  本稿では,タスクの成果につながるプロセスを理解し,改善するために注意を向けたAttention with Reasoning(AiR)フレームワークを提案する。 まず,原子推論操作のシーケンスに基づいて評価基準を定義し,注意度を定量的に測定する。 次に、人間の視線追跡と正当性データを収集し、その推論能力に基づいて、様々な機械および人間の注意機構を解析する。
  論文  参考訳（メタデータ） (2022-04-20T20:32:31Z)
• Rethinking Attention-Model Explainability through Faithfulness Violation Test [29.982295060192904]
  Attentio$odot$Gradient や LRP ベースのアテンション説明など,現在のアテンションベース手法の説明可能性について検討する。 テストされたほとんどの説明手法は、信頼度違反の問題によって予期せぬ障害を受けていることが示される。
  論文  参考訳（メタデータ） (2022-01-28T13:42:31Z)
• Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification [101.49122450005869]
  本稿では,因果推論に基づくより効果的な注意力学習法を提案する。 具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。 本手法は,広範囲の粒度認識タスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-08-19T14:53:40Z)
• Is Sparse Attention more Interpretable? [52.85910570651047]
  我々は,空間が注意力を説明可能性ツールとして活用する能力にどのように影響するかを検討する。 入力とインデックス付き中間表現の間には弱い関係しか存在しません。 この設定では、疎度を誘導することで、モデルの振る舞いを理解するためのツールとして注意が使用できることが、より確実になる可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-06-02T11:42:56Z)
• Why Attentions May Not Be Interpretable? [46.69116768203185]
  近年の研究では、注目・重要解釈は期待どおりに機能しないことが多いことが判明した。 この現象の根本原因の一つがショートカットであり、注意重み自体が余分な情報を運ぶ可能性があることを示している。 この問題を緩和する2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T05:08:30Z)
• Exploring Self-attention for Image Recognition [151.12000247183636]
  画像認識における自己注意の2つの形態について考察する。 ひとつは、標準的なドット積の注意を一般化する、ペアワイズな自己注意である。 もう1つはパッチワイドな自己認識であり、畳み込みよりも厳格に強力です。
  論文  参考訳（メタデータ） (2020-04-28T16:01:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。