論文の概要: Attention is Not Only a Weight: Analyzing Transformers with Vector Norms
- arxiv url: http://arxiv.org/abs/2004.10102v2
- Date: Tue, 6 Oct 2020 15:15:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-11 06:57:10.465866
- Title: Attention is Not Only a Weight: Analyzing Transformers with Vector Norms
- Title(参考訳): 注意はウェイトだけではない:ベクトルノルムを用いたトランスフォーマーの解析
- Authors: Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui
- Abstract要約: 本稿では,注意重みのみが注意の出力を決定する2つの要因の1つであることを示す。
また、変換された入力ベクトルのノルムである第二因子を組み込んだノルムに基づく解析を提案する。
これらの知見はトランスフォーマーの内部動作に関する洞察を与える。
- 参考スコア(独自算出の注目度): 31.145866381881625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attention is a key component of Transformers, which have recently achieved
considerable success in natural language processing. Hence, attention is being
extensively studied to investigate various linguistic capabilities of
Transformers, focusing on analyzing the parallels between attention weights and
specific linguistic phenomena. This paper shows that attention weights alone
are only one of the two factors that determine the output of attention and
proposes a norm-based analysis that incorporates the second factor, the norm of
the transformed input vectors. The findings of our norm-based analyses of BERT
and a Transformer-based neural machine translation system include the
following: (i) contrary to previous studies, BERT pays poor attention to
special tokens, and (ii) reasonable word alignment can be extracted from
attention mechanisms of Transformer. These findings provide insights into the
inner workings of Transformers.
- Abstract(参考訳): 自然言語処理で最近かなりの成功を収めたトランスフォーマーの重要な要素は注意である。
そのため,トランスフォーマーの様々な言語機能について,注意重みと特定の言語現象の並列性の分析に焦点をあてる研究が盛んに行われている。
本稿では,注意重みのみを注意の出力を決定する2つの要因の1つに過ぎず,変換された入力ベクトルのノルムである第2因子を組み込んだノルムベース分析を提案する。
BERTとTransformerを用いたニューラルマシン翻訳システムの標準解析の結果は以下の通りである。
(i)従来の研究とは対照的に、BERTは特別なトークンに注意を払わず、
(ii)Transformerの注意機構から適切な単語アライメントを抽出できる。
これらの結果はトランスフォーマーの内部動作に関する洞察を与える。
関連論文リスト
- Adventures of Trustworthy Vision-Language Models: A Survey [54.76511683427566]
本稿では,バイス,ロバスト性,解釈可能性の3つの基本原理を用いて,視覚言語変換器の徹底的な検証を行う。
本研究の主な目的は, トランスフォーマーの実用化に伴う複雑さと複雑さを掘り下げることであり, 信頼性と説明責任を高める方法の理解を深めることである。
論文 参考訳(メタデータ) (2023-12-07T11:31:20Z) - How Much Does Attention Actually Attend? Questioning the Importance of
Attention in Pretrained Transformers [59.57128476584361]
本稿では,入力依存型アテンション行列を一定値に置き換える新しい探索手法PAPAを紹介する。
入力依存の注意を払わずに、全てのモデルが競争性能を達成できることがわかった。
より弱いモデルよりも、我々の手法を適用することでより良い性能のモデルが失われることが示され、入力依存の注意機構の利用がその成功の要因である可能性が示唆された。
論文 参考訳(メタデータ) (2022-11-07T12:37:54Z) - Improving Attention-Based Interpretability of Text Classification
Transformers [7.027858121801477]
テキスト分類における変圧器の注意に基づく解釈可能性手法の有効性について検討する。
適切な設定で、最新技術に匹敵する結果が得られるようなタスクに注意を向けることが示される。
論文 参考訳(メタデータ) (2022-09-22T09:19:22Z) - Incorporating Residual and Normalization Layers into Analysis of Masked
Language Models [29.828669678974983]
我々は、トランスフォーマーの分析範囲を、単に注目パターンから注目ブロック全体まで拡張する。
トランスフォーマーをベースとしたマスキング言語モデルの解析により,トークンとトークンの相互作用が従来想定されていた中間表現にほとんど影響を与えないことが分かる。
論文 参考訳(メタデータ) (2021-09-15T08:32:20Z) - Effective Attention Sheds Light On Interpretability [3.317258557707008]
有効な注意を可視化することは、標準的な注意の解釈とは異なる結論を与えるかどうかを問う。
実効的な注意力は、言語モデリング事前学習に関連する特徴とあまり関連がないことを示す。
設計によって出力されるモデルに関係が深いため, 変圧器の挙動を研究する上で, 効果的な注意を払うことを推奨する。
論文 参考訳(メタデータ) (2021-05-18T23:41:26Z) - Generic Attention-model Explainability for Interpreting Bi-Modal and
Encoder-Decoder Transformers [78.26411729589526]
トランスフォーマーアーキテクチャによる予測を説明する最初の方法を提案する。
本手法は,一様説明性に適応した既存手法よりも優れている。
論文 参考訳(メタデータ) (2021-03-29T15:03:11Z) - Learning Hard Retrieval Decoder Attention for Transformers [69.40942736249397]
トランスフォーマー変換モデルは、容易に並列化できるマルチヘッドアテンション機構に基づいている。
ハード検索の注意機構は復号化の1.43倍高速であることを示す。
論文 参考訳(メタデータ) (2020-09-30T13:18:57Z) - Input-independent Attention Weights Are Expressive Enough: A Study of
Attention in Self-supervised Audio Transformers [55.40032342541187]
我々は、自己教師付きアルゴリズムを用いたトランスフォーマーベースモデルを事前訓練し、下流タスクにおける特徴抽出器として扱う。
このアプローチでは、トレーニングと推論の両方において、通常の自己注意と同等のパフォーマンスで20%の時間を要することが示されています。
論文 参考訳(メタデータ) (2020-06-09T10:40:52Z) - Fixed Encoder Self-Attention Patterns in Transformer-Based Machine
Translation [73.11214377092121]
我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。
異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
論文 参考訳(メタデータ) (2020-02-24T13:53:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。