論文の概要: Attention Flows are Shapley Value Explanations

• arxiv url: http://arxiv.org/abs/2105.14652v1
• Date: Mon, 31 May 2021 00:06:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:23:03.877218
• Title: Attention Flows are Shapley Value Explanations
• Title（参考訳）: 注意フローは共有価値説明である
• Authors: Kawin Ethayarajh and Dan Jurafsky
• Abstract要約: 注意フローは、少なくとも階層レベルでは、共有値であることが示されます。 我々は、NLP実践者は、可能であれば、より伝統的なものと並行して、注意の流れの説明を採用するべきであると論じる。
• 参考スコア（独自算出の注目度）: 34.44671097733373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Shapley Values, a solution to the credit assignment problem in cooperative game theory, are a popular type of explanation in machine learning, having been used to explain the importance of features, embeddings, and even neurons. In NLP, however, leave-one-out and attention-based explanations still predominate. Can we draw a connection between these different methods? We formally prove that -- save for the degenerate case -- attention weights and leave-one-out values cannot be Shapley Values. $\textit{Attention flow}$ is a post-processed variant of attention weights obtained by running the max-flow algorithm on the attention graph. Perhaps surprisingly, we prove that attention flows are indeed Shapley Values, at least at the layerwise level. Given the many desirable theoretical qualities of Shapley Values -- which has driven their adoption among the ML community -- we argue that NLP practitioners should, when possible, adopt attention flow explanations alongside more traditional ones.
• Abstract（参考訳）: shapley valuesは、協調ゲーム理論におけるクレジット割当問題の解であり、機械学習における一般的なタイプの説明であり、特徴、埋め込み、さらにはニューロンの重要性を説明するために用いられてきた。 しかし、NLPでは、離脱と注意に基づく説明が依然として優勢である。 これらの異なる方法のつながりを描けるか? 私たちは正式に -- 縮退したケースのために保存する -- 注意重みと残一の値がシェープリー値ではないことを証明します。 $\textit{attention flow}$は、アテンショングラフ上でmax-flowアルゴリズムを実行することで得られるアテンション重みのポストプロセス変種である。 おそらく意外なことに、注意フローが少なくとも階層レベルでは、本当にシェープな値であることを証明しています。 MLコミュニティで採用されているシェープ価値の多くの望ましい理論的特性を考えると、NLP実践者は、可能であれば、より伝統的なものと一緒に注意の流れの説明を採用するべきだ、と私たちは主張する。

関連論文リスト

• MLP Can Be A Good Transformer Learner [73.01739251050076]
  自己保持機構はトランスフォーマーの鍵であるが、その計算要求に対してしばしば批判される。 本稿では,非重要注意層を選択的に除去することで,視覚変換器の簡易化と計算負荷削減を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T16:40:15Z)
• A Refutation of Shapley Values for Explainability [4.483306836710804]
  最近の研究は、Shapley値が誤解を招く情報を提供するブール関数の存在を実証した。 本稿は, 様々な特徴に対して, 1つ以上の不適切な発見問題を示すブール関数が存在することを証明した。
  論文  参考訳（メタデータ） (2023-09-06T14:34:18Z)
• WeightedSHAP: analyzing and improving Shapley based feature attributions [17.340091573913316]
  共有価値(Shapley value)は、個々の特徴の影響を測定するための一般的なアプローチである。 WeightedSHAPを提案する。これはShapleyの価値を一般化し、データから直接フォーカスする限界貢献を学習する。 いくつかの実世界のデータセットにおいて、WeightedSHAPによって識別される影響のある特徴がモデルの予測を再カプセル化できることを示す。
  論文  参考訳（メタデータ） (2022-09-27T14:34:07Z)
• FlowX: Towards Explainable Graph Neural Networks via Message Flows [59.025023020402365]
  グラフニューラルネットワーク(GNN)の動作メカニズム解明へのステップとして,その説明可能性について検討する。 本稿では,重要なメッセージフローを識別してGNNを説明するために,FlowXと呼ばれる新しい手法を提案する。 そこで我々は,多様な説明対象に向けて,フロースコアを学習するための情報制御学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-26T22:48:15Z)
• On the Convergence of the Shapley Value in Parametric Bayesian Learning Games [28.212413634171572]
  いずれのプレイヤーにおいても、シャプリー値の差は、特徴関数が結合フィッシャー情報の対数行列に比例する制限ゲームにおけるシャプリー値の差に収束することを示す。 この結果から,KL 分岐のコストのかかる計算を行なわずに実現可能となった。
  論文  参考訳（メタデータ） (2022-05-16T02:29:14Z)
• Is Sparse Attention more Interpretable? [52.85910570651047]
  我々は,空間が注意力を説明可能性ツールとして活用する能力にどのように影響するかを検討する。 入力とインデックス付き中間表現の間には弱い関係しか存在しません。 この設定では、疎度を誘導することで、モデルの振る舞いを理解するためのツールとして注意が使用できることが、より確実になる可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-06-02T11:42:56Z)
• Shapley Flow: A Graph-based Approach to Interpreting Model Predictions [12.601158020289105]
  Shapley Flowは、機械学習モデルを解釈するための新しいアプローチである。 因果グラフ全体を考慮し、ノードをクレジット割り当ての基本単位として扱う代わりに、クレジットをテキストメッセージに割り当てる。
  論文  参考訳（メタデータ） (2020-10-27T20:21:00Z)
• Forgetting Outside the Box: Scrubbing Deep Networks of Information Accessible from Input-Output Observations [143.3053365553897]
  本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。 忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。 我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
  論文  参考訳（メタデータ） (2020-03-05T23:17:35Z)
• Problems with Shapley-value-based explanations as feature importance measures [12.08945475767566]
  機能の重要性のゲーム理論の定式化は、機械学習モデルを"説明"する方法として人気を集めている。 特徴量としてシェープ値が用いられる場合に数学的な問題が生じることを示す。 我々は、Shapley値が人間中心の説明可能性の目標に合った説明を提供していないと論じる。
  論文  参考訳（メタデータ） (2020-02-25T18:51:14Z)
• Towards Efficient Data Valuation Based on the Shapley Value [65.4167993220998]
  本稿では,Shapley値を用いたデータ評価の問題点について検討する。 Shapleyの値は、データ値の概念に対して多くのデシダータを満たすユニークなペイオフスキームを定義する。 本稿では,Shapley値を近似する効率的なアルゴリズムのレパートリーを提案する。
  論文  参考訳（メタデータ） (2019-02-27T00:22:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。