論文の概要: Better Explain Transformers by Illuminating Important Information
- arxiv url: http://arxiv.org/abs/2401.09972v3
- Date: Fri, 26 Jan 2024 13:12:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 17:11:54.495242
- Title: Better Explain Transformers by Illuminating Important Information
- Title(参考訳): 重要情報を用いた説明変換器の改良
- Authors: Linxin Song, Yan Cui, Ao Luo, Freddy Lecue, Irene Li
- Abstract要約: 本稿では,レイヤワイド関連伝搬(LRP)法上での洗練された情報フローによる重要情報の強調と無関係情報の排除を提案する。
実験結果から、無関係な情報が出力帰属スコアを歪め、説明計算中に隠蔽することを示した。
- 参考スコア(独自算出の注目度): 12.781602543866933
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based models excel in various natural language processing (NLP)
tasks, attracting countless efforts to explain their inner workings. Prior
methods explain Transformers by focusing on the raw gradient and attention as
token attribution scores, where non-relevant information is often considered
during explanation computation, resulting in confusing results. In this work,
we propose highlighting the important information and eliminating irrelevant
information by a refined information flow on top of the layer-wise relevance
propagation (LRP) method. Specifically, we consider identifying syntactic and
positional heads as important attention heads and focus on the relevance
obtained from these important heads. Experimental results demonstrate that
irrelevant information does distort output attribution scores and then should
be masked during explanation computation. Compared to eight baselines on both
classification and question-answering datasets, our method consistently
outperforms with over 3\% to 33\% improvement on explanation metrics, providing
superior explanation performance. Our anonymous code repository is available
at: https://github.com/LinxinS97/Mask-LRP
- Abstract(参考訳): トランスフォーマーベースのモデルは様々な自然言語処理(nlp)タスクに優れており、内部動作を説明するための無数の努力を惹きつけている。
従来の手法では,非関連情報が説明計算中によく考慮されるトークン属性スコアとして,生勾配と注目度に着目してトランスフォーマーを説明する。
本研究では,lrp(layer-wise associated propagation)手法上で,重要情報を強調表示し,無関係な情報を排除することを提案する。
具体的には,構文的頭部と位置的頭部を重要な注意点として同定し,これらの重要な頭部から得られる関連性に着目した。
実験結果から、無関係な情報が出力帰属スコアを歪め、説明計算中に隠蔽することを示した。
分類・問合せデータセットの8つのベースラインと比較すると,提案手法は説明指標の3倍から33倍に向上し,優れた説明性能が得られる。
私たちの匿名コードリポジトリは、https://github.com/LinxinS97/Mask-LRPで利用可能です。
関連論文リスト
- XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文 参考訳(メタデータ) (2023-10-09T08:07:04Z) - A Mechanistic Interpretation of Arithmetic Reasoning in Language Models
using Causal Mediation Analysis [128.0532113800092]
算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。
これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
論文 参考訳(メタデータ) (2023-05-24T11:43:47Z) - Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。
本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
論文 参考訳(メタデータ) (2023-03-10T18:31:50Z) - CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point
Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。
また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。
提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文 参考訳(メタデータ) (2022-07-31T21:39:15Z) - Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。
事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。
しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
論文 参考訳(メタデータ) (2022-05-23T07:51:15Z) - Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。
CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
論文 参考訳(メタデータ) (2021-06-11T21:45:44Z) - Centroid Transformers: Learning to Abstract with Attention [15.506293166377182]
自己注意は入力から特徴を抽出する強力なメカニズムである。
N入力をM出力にマップする自己注意の一般化であるセントロイド注意を$(Mleq N)$に提案する。
本手法は,抽象的テキスト要約,3次元視覚,画像処理など,様々なアプリケーションに適用する。
論文 参考訳(メタデータ) (2021-02-17T07:04:19Z) - Self-Supervised Domain Adaptation with Consistency Training [0.2462953128215087]
画像分類における教師なし領域適応の問題点を考察する。
ラベルのないデータをある種の変換で拡張することにより、自己教師付きプレテキストタスクを作成する。
我々は、拡張データの表現を元のデータと整合するように強制する。
論文 参考訳(メタデータ) (2020-10-15T06:03:47Z) - Counterfactual Explanation Based on Gradual Construction for Deep
Networks [17.79934085808291]
深層ネットワークがトレーニングデータセットから学んだパターンは、様々なクラスの特徴の変化を観察して把握することができる。
現在のアプローチでは、ディープネットワークの内部特性に関係なく、ターゲットクラスの分類確率を高めるために、特徴修正を行う。
本稿では,トレーニングデータセットから得られた統計情報を利用した実例説明手法を提案する。
論文 参考訳(メタデータ) (2020-08-05T01:18:31Z) - Quantifying Attention Flow in Transformers [12.197250533100283]
自己注意(self-attention)"は、出席した埋め込みからの情報を次の層への焦点埋め込みの表現に結合する。
これにより、説明プローブとして注意重みが信頼できない。
本稿では,注目重み,注目ロールアウト,注目フローを付加した入力トークンへの注意を近似する2つの手法を提案する。
論文 参考訳(メタデータ) (2020-05-02T21:45:27Z) - Self-Attention Attribution: Interpreting Information Interactions Inside
Transformer [89.21584915290319]
本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。
本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
論文 参考訳(メタデータ) (2020-04-23T14:58:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。