論文の概要: The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?

• arxiv url: http://arxiv.org/abs/2010.05607v1
• Date: Mon, 12 Oct 2020 11:27:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 06:51:02.402300
• Title: The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?
• Title（参考訳）: 通訳室の象:サリエンシの方法があるとき、なぜ注意を説明として使うのか?
• Authors: Jasmijn Bastings and Katja Filippova
• Abstract要約: それぞれの入力に重みを与えるという偶然の一致にもかかわらず、注意を引くための説得力のある理由はない、と私たちは主張する。 著者が自分たちの説明の目的とユーザを明確に述べるために、私たちは、最近の注目のいくつかを、唾液度メソッドにシフトしたいと考えています。
• 参考スコア（独自算出の注目度）: 3.9159958153092105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a recent surge of interest in using attention as explanation of model predictions, with mixed evidence on whether attention can be used as such. While attention conveniently gives us one weight per input token and is easily extracted, it is often unclear toward what goal it is used as explanation. We find that often that goal, whether explicitly stated or not, is to find out what input tokens are the most relevant to a prediction, and that the implied user for the explanation is a model developer. For this goal and user, we argue that input saliency methods are better suited, and that there are no compelling reasons to use attention, despite the coincidence that it provides a weight for each input. With this position paper, we hope to shift some of the recent focus on attention to saliency methods, and for authors to clearly state the goal and user for their explanations.
• Abstract（参考訳）: 近年,注意をモデル予測の説明として利用することへの関心が高まっている。 注意力は入力トークン毎に1重みを与え、簡単に抽出できるが、どの目的を説明として使うのかはよくわからない。 明確に述べられているかどうかに関わらず、そのゴールが予測に最も関係のある入力トークンを見つけることであり、その説明の暗黙のユーザはモデル開発者であることが多いことが分かりました。 この目的とユーザのために、入力の給与方法がより適しており、各入力に重みを与えるという偶然にもかかわらず、注意を使う説得力のある理由はないと主張する。 このポジションペーパーでは、最近の注目のいくつかをサリエンシ手法にシフトさせ、著者が彼らの説明の目的とユーザを明確に述べることを望んでいる。

関連論文リスト

• Why is "Problems" Predictive of Positive Sentiment? A Case Study of Explaining Unintuitive Features in Sentiment Classification [4.9435788954303]
  説明可能なAI(XAI)アルゴリズムは、マシンラーニングモデルがどのように予測を行うかを理解するためのものだ。 多くのアプローチは、どの入力特徴がターゲットラベルの最も予測的かを説明する。 本研究では,ユーザにとって直感的でない連想を自動的に検出する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T19:31:19Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• Attention cannot be an Explanation [99.37090317971312]
  私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-01-26T21:34:05Z)
• On the Veracity of Local, Model-agnostic Explanations in Audio Classification: Targeted Investigations with Adversarial Examples [5.744593856232663]
  LIMEのようなローカルな説明手法がMIRで普及している。 本稿は、LIMEの説明の真正性についてより深い知見を得るための対象調査について報告する。
  論文  参考訳（メタデータ） (2021-07-19T17:54:10Z)
• Is Sparse Attention more Interpretable? [52.85910570651047]
  我々は,空間が注意力を説明可能性ツールとして活用する能力にどのように影響するかを検討する。 入力とインデックス付き中間表現の間には弱い関係しか存在しません。 この設定では、疎度を誘導することで、モデルの振る舞いを理解するためのツールとして注意が使用できることが、より確実になる可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-06-02T11:42:56Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• This is not the Texture you are looking for! Introducing Novel Counterfactual Explanations for Non-Experts using Generative Adversarial Learning [59.17685450892182]
  反実用説明システムは、入力画像を変更して反実用推論を可能にする。 本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。 その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-12-22T10:08:05Z)
• Why Attentions May Not Be Interpretable? [46.69116768203185]
  近年の研究では、注目・重要解釈は期待どおりに機能しないことが多いことが判明した。 この現象の根本原因の一つがショートカットであり、注意重み自体が余分な情報を運ぶ可能性があることを示している。 この問題を緩和する2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T05:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。