論文の概要: Better Explain Transformers by Illuminating Important Information

• arxiv url: http://arxiv.org/abs/2401.09972v3
• Date: Fri, 26 Jan 2024 13:12:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 17:11:54.495242
• Title: Better Explain Transformers by Illuminating Important Information
• Title（参考訳）: 重要情報を用いた説明変換器の改良
• Authors: Linxin Song, Yan Cui, Ao Luo, Freddy Lecue, Irene Li
• Abstract要約: 本稿では,レイヤワイド関連伝搬(LRP)法上での洗練された情報フローによる重要情報の強調と無関係情報の排除を提案する。 実験結果から、無関係な情報が出力帰属スコアを歪め、説明計算中に隠蔽することを示した。
• 参考スコア（独自算出の注目度）: 12.781602543866933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models excel in various natural language processing (NLP) tasks, attracting countless efforts to explain their inner workings. Prior methods explain Transformers by focusing on the raw gradient and attention as token attribution scores, where non-relevant information is often considered during explanation computation, resulting in confusing results. In this work, we propose highlighting the important information and eliminating irrelevant information by a refined information flow on top of the layer-wise relevance propagation (LRP) method. Specifically, we consider identifying syntactic and positional heads as important attention heads and focus on the relevance obtained from these important heads. Experimental results demonstrate that irrelevant information does distort output attribution scores and then should be masked during explanation computation. Compared to eight baselines on both classification and question-answering datasets, our method consistently outperforms with over 3\% to 33\% improvement on explanation metrics, providing superior explanation performance. Our anonymous code repository is available at: https://github.com/LinxinS97/Mask-LRP
• Abstract（参考訳）: トランスフォーマーベースのモデルは様々な自然言語処理(nlp)タスクに優れており、内部動作を説明するための無数の努力を惹きつけている。 従来の手法では,非関連情報が説明計算中によく考慮されるトークン属性スコアとして,生勾配と注目度に着目してトランスフォーマーを説明する。 本研究では,lrp(layer-wise associated propagation)手法上で,重要情報を強調表示し,無関係な情報を排除することを提案する。 具体的には,構文的頭部と位置的頭部を重要な注意点として同定し,これらの重要な頭部から得られる関連性に着目した。 実験結果から、無関係な情報が出力帰属スコアを歪め、説明計算中に隠蔽することを示した。 分類・問合せデータセットの8つのベースラインと比較すると,提案手法は説明指標の3倍から33倍に向上し,優れた説明性能が得られる。 私たちの匿名コードリポジトリは、https://github.com/LinxinS97/Mask-LRPで利用可能です。

関連論文リスト

• DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
  我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。 様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
  論文  参考訳（メタデータ） (2024-10-07T07:21:49Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Representation Learning with Conditional Information Flow Maximization [29.36409607847339]
  本稿では,条件情報フローと呼ばれる情報理論表現学習フレームワークを提案する。 学習された表現は、優れた特徴均一性と十分な予測能力を有する。 実験により、学習された表現はより十分で、堅牢で、伝達可能であることが示された。
  論文  参考訳（メタデータ） (2024-06-08T16:19:18Z)
• Sharing Key Semantics in Transformer Makes Efficient Image Restoration [148.22790334216117]
  視覚変換器(ViT)の基盤となる自己注意機構は、意味的に無関係なオブジェクトや領域であっても、すべてのグローバルな手がかりを包含する傾向がある。 本稿では,Transformer for IR(すなわちSemanIR)を通じて重要なセマンティクスを共有することで,画像復元の性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:45:34Z)
• Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
  情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。 本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
  論文  参考訳（メタデータ） (2023-03-10T18:31:50Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
  Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。 CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
  論文  参考訳（メタデータ） (2021-06-11T21:45:44Z)
• Self-Supervised Domain Adaptation with Consistency Training [0.2462953128215087]
  画像分類における教師なし領域適応の問題点を考察する。 ラベルのないデータをある種の変換で拡張することにより、自己教師付きプレテキストタスクを作成する。 我々は、拡張データの表現を元のデータと整合するように強制する。
  論文  参考訳（メタデータ） (2020-10-15T06:03:47Z)
• Counterfactual Explanation Based on Gradual Construction for Deep Networks [17.79934085808291]
  深層ネットワークがトレーニングデータセットから学んだパターンは、様々なクラスの特徴の変化を観察して把握することができる。 現在のアプローチでは、ディープネットワークの内部特性に関係なく、ターゲットクラスの分類確率を高めるために、特徴修正を行う。 本稿では,トレーニングデータセットから得られた統計情報を利用した実例説明手法を提案する。
  論文  参考訳（メタデータ） (2020-08-05T01:18:31Z)
• Quantifying Attention Flow in Transformers [12.197250533100283]
  自己注意(self-attention)"は、出席した埋め込みからの情報を次の層への焦点埋め込みの表現に結合する。 これにより、説明プローブとして注意重みが信頼できない。 本稿では,注目重み,注目ロールアウト,注目フローを付加した入力トークンへの注意を近似する2つの手法を提案する。
  論文  参考訳（メタデータ） (2020-05-02T21:45:27Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。