論文の概要: Towards Transparent and Explainable Attention Models

• arxiv url: http://arxiv.org/abs/2004.14243v1
• Date: Wed, 29 Apr 2020 14:47:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 13:53:15.218440
• Title: Towards Transparent and Explainable Attention Models
• Title（参考訳）: 透明かつ説明可能な注意モデルに向けて
• Authors: Akash Kumar Mohankumar, Preksha Nema, Sharan Narasimhan, Mitesh M. Khapra, Balaji Vasan Srinivasan, Balaraman Ravindran
• Abstract要約: まず,LSTMをベースとしたエンコーダにおける現在の注意機構が,モデルの予測を忠実に,あるいは妥当に説明できない理由を説明する。 本研究では,異なる時間ステップで学習した隠れ表現が多様であることを保証するため,多様性駆動型学習目標を持つLSTM細胞を改良した。 人的評価は,本モデルが学習した注意分布が,モデルの予測を妥当に説明できることを示唆している。
• 参考スコア（独自算出の注目度）: 34.0557018891191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies on interpretability of attention distributions have led to notions of faithful and plausible explanations for a model's predictions. Attention distributions can be considered a faithful explanation if a higher attention weight implies a greater impact on the model's prediction. They can be considered a plausible explanation if they provide a human-understandable justification for the model's predictions. In this work, we first explain why current attention mechanisms in LSTM based encoders can neither provide a faithful nor a plausible explanation of the model's predictions. We observe that in LSTM based encoders the hidden representations at different time-steps are very similar to each other (high conicity) and attention weights in these situations do not carry much meaning because even a random permutation of the attention weights does not affect the model's predictions. Based on experiments on a wide variety of tasks and datasets, we observe attention distributions often attribute the model's predictions to unimportant words such as punctuation and fail to offer a plausible explanation for the predictions. To make attention mechanisms more faithful and plausible, we propose a modified LSTM cell with a diversity-driven training objective that ensures that the hidden representations learned at different time steps are diverse. We show that the resulting attention distributions offer more transparency as they (i) provide a more precise importance ranking of the hidden states (ii) are better indicative of words important for the model's predictions (iii) correlate better with gradient-based attribution methods. Human evaluations indicate that the attention distributions learned by our model offer a plausible explanation of the model's predictions. Our code has been made publicly available at https://github.com/akashkm99/Interpretable-Attention
• Abstract（参考訳）: 注意分布の解釈可能性に関する最近の研究は、モデルの予測に対する忠実で妥当な説明の概念を導いた。 注意分布は、より高い注意重みがモデルの予測により大きな影響を与えることを示唆するならば、忠実な説明と見なすことができる。 モデルの予測に対する人間の理解可能な正当性を提供するならば、それらは妥当な説明と見なすことができる。 本研究では,LSTMをベースとしたエンコーダにおける現在の注意機構が,モデルの予測を忠実に,あるいは妥当に説明できない理由を説明する。 LSTMに基づくエンコーダでは、異なる時間ステップにおける隠れ表現は互いに非常によく似ており、これらの状況における注意重みは、注意重みのランダムな置換でさえモデルの予測に影響を与えないため、あまり意味を持たない。 様々なタスクやデータセットに関する実験に基づき、注意分布は、モデルの予測を句読点のような重要でない単語に分類し、予測に対して妥当な説明を提供しないことが多い。 注意機構をより忠実かつ確実なものにするため,異なる時間ステップで学習した隠蔽表現が多様であることを保証するために,多様性駆動型学習目標を持つ改良LSTM細胞を提案する。 結果として生じる注意分布は より透明性をもたらします (i)隠された状態のより正確な重要度ランキングを提供する (ii)モデルの予測に重要な単語を示すこと (iii)勾配に基づく帰属法と相関する。 人的評価は,モデルから得られた注意分布がモデル予測の妥当な説明を与えることを示している。 私たちのコードはhttps://github.com/akashkm99/Interpretable-Attentionで公開されています。

関連論文リスト

• Towards Generalizable and Interpretable Motion Prediction: A Deep Variational Bayes Approach [54.429396802848224]
  本稿では,分布外ケースに対する頑健な一般化性を有する動き予測のための解釈可能な生成モデルを提案する。 このモデルでは, 長期目的地の空間分布を推定することにより, 目標駆動動作予測を実現する。 動き予測データセットの実験は、適合したモデルが解釈可能で一般化可能であることを検証した。
  論文  参考訳（メタデータ） (2024-03-10T04:16:04Z)
• Analyzing Explainer Robustness via Probabilistic Lipschitzness of Prediction Functions [3.5199856477763722]
  我々は、ロバストネスの特定の側面、すなわち、同様のデータ入力に対して同様の説明をするべきであることに焦点を当てる。 予測関数の正確性に類似した説明器の正確性を導入して定義することにより、この概念を定式化する。
  論文  参考訳（メタデータ） (2022-06-24T19:43:33Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Counterfactual Explanations for Predictive Business Process Monitoring [0.90238471756546]
  本稿では,予測プロセス監視のための対実的説明手法であるLORELEYを提案する。 LORELEYは平均忠実度97.69%の予測モデルを近似し、現実的な対実的な説明を生成する。
  論文  参考訳（メタデータ） (2022-02-24T11:01:20Z)
• Deconfounding to Explanation Evaluation in Graph Neural Networks [136.73451468551656]
  我々は、全グラフと部分グラフの間に分布シフトが存在し、分布外問題を引き起こすと論じる。 本稿では,モデル予測に対する説明文の因果効果を評価するために,Decon founded Subgraph Evaluation (DSE)を提案する。
  論文  参考訳（メタデータ） (2022-01-21T18:05:00Z)
• Is Sparse Attention more Interpretable? [52.85910570651047]
  我々は,空間が注意力を説明可能性ツールとして活用する能力にどのように影響するかを検討する。 入力とインデックス付き中間表現の間には弱い関係しか存在しません。 この設定では、疎度を誘導することで、モデルの振る舞いを理解するためのツールとして注意が使用できることが、より確実になる可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-06-02T11:42:56Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Explainable Artificial Intelligence: How Subsets of the Training Data Affect a Prediction [2.3204178451683264]
  データサブセットの重要性をトレーニングするためにShapley値と呼ぶ新しい方法論を提案します。 提案手法を用いて,モデルの偏りや誤ったトレーニングデータを明らかにする方法を示す。 この説明は、アルゴリズムの内部動作をより認識し、同様の予測を生成するモデルがトレーニングデータの非常に異なる部分に基づいている方法を説明することを可能にすると主張しています。
  論文  参考訳（メタデータ） (2020-12-07T12:15:47Z)
• Explaining the Behavior of Black-Box Prediction Algorithms with Causal Learning [9.279259759707996]
  ブラックボックス予測モデルのポストホック説明可能性に対する因果的アプローチは、ますます人気が高まっている。 因果図形表現を学習し、特徴間の任意の非計測的共起を可能にする。 我々のアプローチは、適切な説明が介入論的な意味で「異論者」である要因を示唆する因果説明の反実理論によって動機付けられている。
  論文  参考訳（メタデータ） (2020-06-03T19:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。