論文の概要: AttnLRP: Attention-Aware Layer-wise Relevance Propagation for
Transformers
- arxiv url: http://arxiv.org/abs/2402.05602v1
- Date: Thu, 8 Feb 2024 12:01:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 15:14:45.807436
- Title: AttnLRP: Attention-Aware Layer-wise Relevance Propagation for
Transformers
- Title(参考訳): AttnLRP: 変圧器のアテンション対応レイヤワイズ関連伝播
- Authors: Reduan Achtibat, Sayed Mohammad Vakilzadeh Hatefi, Maximilian Dreyer,
Aakriti Jain, Thomas Wiegand, Sebastian Lapuschkin, Wojciech Samek
- Abstract要約: 大きな言語モデルは、バイアスのある予測と幻覚の傾向があります。
ブラックボックストランスモデルの完全性への忠実な貢献と計算効率の維持は未解決の課題である。
- 参考スコア(独自算出の注目度): 14.756988176469365
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models are prone to biased predictions and hallucinations,
underlining the paramount importance of understanding their model-internal
reasoning process. However, achieving faithful attributions for the entirety of
a black-box transformer model and maintaining computational efficiency is an
unsolved challenge. By extending the Layer-wise Relevance Propagation
attribution method to handle attention layers, we address these challenges
effectively. While partial solutions exist, our method is the first to
faithfully and holistically attribute not only input but also latent
representations of transformer models with the computational efficiency similar
to a singular backward pass. Through extensive evaluations against existing
methods on Llama 2, Flan-T5 and the Vision Transformer architecture, we
demonstrate that our proposed approach surpasses alternative methods in terms
of faithfulness and enables the understanding of latent representations,
opening up the door for concept-based explanations. We provide an open-source
implementation on GitHub https://github.com/rachtibat/LRP-for-Transformers.
- Abstract(参考訳): 大規模言語モデルは偏りのある予測や幻覚に陥りやすいため、モデル内的推論プロセスを理解することの重要性が強調されている。
しかし、ブラックボックストランスモデルの完全性に対する忠実な帰属と計算効率の維持は未解決の課題である。
注意層を扱うために, 層間相関伝播帰属法を拡張することで, これらの課題を効果的に解決する。
部分解は存在するが,本手法は入力だけでなく潜在表現も忠実に分類し,計算効率を特異な後方通過に類似させる最初の方法である。
Llama 2 と Flan-T5 と Vision Transformer アーキテクチャの既存手法に対する広範な評価を通じて,提案手法が忠実性の観点から代替手法を超越し,潜在表現の理解を可能にし,概念に基づく説明の扉を開くことを実証した。
GitHub https://github.com/rachtibat/LRP-for-Transformers.com上でオープンソース実装を提供しています。
関連論文リスト
- Converting Transformers to Polynomial Form for Secure Inference Over
Homomorphic Encryption [45.00129952368691]
ホモモルフィック暗号化(HE)は、ディープラーニングにおける最も有望なアプローチの1つである。
変換器を用いたHE上でのセキュアな推論のデモンストレーションとして,第1回変換器を紹介する。
我々のモデルは従来の手法に匹敵する結果をもたらし、同様のスケールのトランスフォーマーで性能ギャップを埋め、最先端のアプリケーションでHEが実現可能であることを裏付ける。
論文 参考訳(メタデータ) (2023-11-15T00:23:58Z) - Learning Transferable Conceptual Prototypes for Interpretable
Unsupervised Domain Adaptation [79.22678026708134]
本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。
この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。
総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-10-12T06:36:41Z) - ReX: A Framework for Incorporating Temporal Information in
Model-Agnostic Local Explanation Techniques [9.039022899550883]
可変長入力を処理するモデルに様々な説明手法を適用するためのフレームワークであるReXを提案する。
LIME と Anchors の2つの一般的な説明手法にアプローチをインスタンス化する。
評価の結果,本手法は説明の忠実さと理解可能性を大幅に向上させることが示された。
論文 参考訳(メタデータ) (2022-09-08T13:10:29Z) - XAI for Transformers: Better Explanations through Conservative
Propagation [60.67748036747221]
変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。
我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
論文 参考訳(メタデータ) (2022-02-15T10:47:11Z) - KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。
提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。
我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
論文 参考訳(メタデータ) (2021-12-16T04:37:10Z) - Exploring Transferable and Robust Adversarial Perturbation Generation
from the Perspective of Network Hierarchy [52.153866313879924]
敵の例の移動可能性と堅牢性は、ブラックボックスの敵攻撃の実用的かつ重要な2つの性質である。
伝送可能で頑健な逆生成法(TRAP)を提案する。
我々のTRAPは、ある種の干渉に対して印象的な伝達性と高い堅牢性を実現する。
論文 参考訳(メタデータ) (2021-08-16T11:52:41Z) - Augmented Shortcuts for Vision Transformers [49.70151144700589]
視覚変換器モデルにおけるショートカットと特徴の多様性の関係について検討する。
本稿では,元のショートカットに並列に学習可能なパラメータを追加経路を挿入する拡張ショートカット方式を提案する。
ベンチマークデータセットを用いて実験を行い,提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2021-06-30T09:48:30Z) - A Practical Survey on Faster and Lighter Transformers [0.9176056742068811]
Transformerは、入力シーケンスの任意の2つの位置を関連付けることのできるアテンションメカニズムのみに基づくモデルである。
多数のシーケンスモデリングタスクにまたがって最先端のタスクを改善した。
しかし、その有効性は、シーケンス長に関して2次計算とメモリの複雑さを犠牲にしている。
論文 参考訳(メタデータ) (2021-03-26T17:54:47Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。