論文の概要: Analyzing Feed-Forward Blocks in Transformers through the Lens of
Attention Map
- arxiv url: http://arxiv.org/abs/2302.00456v2
- Date: Sun, 1 Oct 2023 10:27:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 20:28:24.193238
- Title: Analyzing Feed-Forward Blocks in Transformers through the Lens of
Attention Map
- Title(参考訳): 注意図のレンズによる変圧器のフィードフォワードブロックの解析
- Authors: Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui
- Abstract要約: 本研究では,フィードフォワード(FF)ブロックの入力コンテキスト化効果を,人間に親しみやすい可視化手法として注目マップに描画することで解析する。
マスク型および因果型両方のモデルを用いた実験により,FFネットワークは入力文脈の修正を行い,特定の種類の言語構成を強調した。
- 参考スコア(独自算出の注目度): 28.24412629070869
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given that Transformers are ubiquitous in wide tasks, interpreting their
internals is a pivotal issue. Still, their particular components, feed-forward
(FF) blocks, have typically been less analyzed despite their substantial
parameter amounts. We analyze the input contextualization effects of FF blocks
by rendering them in the attention maps as a human-friendly visualization
scheme. Our experiments with both masked- and causal-language models reveal
that FF networks modify the input contextualization to emphasize specific types
of linguistic compositions. In addition, FF and its surrounding components tend
to cancel out each other's effects, suggesting potential redundancy in the
processing of the Transformer layer.
- Abstract(参考訳): Transformerが幅広いタスクでユビキタスであることを考えると、内部を解釈することは重要な問題である。
それでも、その特定のコンポーネントであるフィードフォワード(FF)ブロックは、かなりのパラメータ量にもかかわらず、一般的には分析されていない。
人為的な可視化手法として注目マップに表示することにより,FFブロックの入力コンテキスト化効果を解析する。
マスク型および因果型両方のモデルを用いた実験により,FFネットワークは入力文脈の修正を行い,特定の種類の言語構成を強調した。
さらにffとその周辺コンポーネントは相互効果をキャンセルしがちであり、トランス層の処理における潜在的な冗長性が示唆される。
関連論文リスト
- Verb Conjugation in Transformers Is Determined by Linear Encodings of
Subject Number [24.248659219487976]
動詞を共役するBERTの能力は、主語数の線形符号化に依存していることを示す。
この符号化は、第1の層における主語位置と最終の層における動詞位置にあるが、中間の層における位置に分散している。
論文 参考訳(メタデータ) (2023-10-23T17:53:47Z) - Quantifying Context Mixing in Transformers [13.98583981770322]
自己注意重みとその変換された変種は、トランスフォーマーモデルにおけるトークンとトークンの相互作用を分析するための主要な情報源となっている。
本稿では,トランスフォーマー用にカスタマイズされた新しいコンテキスト混合スコアであるValue Zeroingを提案する。
論文 参考訳(メタデータ) (2023-01-30T15:19:02Z) - Holistically Explainable Vision Transformers [136.27303006772294]
本稿では,B-cos変換器を提案する。
具体的には、各モデルコンポーネント(多層パーセプトロン、注意層、トークン化モジュールなど)を動的線形に定式化する。
提案した設計をViT(Vision Transformers)に適用し,Bcos-ViTと呼ばれるモデルが高解釈可能であり,ベースラインのViTと競合することを示す。
論文 参考訳(メタデータ) (2023-01-20T16:45:34Z) - AttEntropy: Segmenting Unknown Objects in Complex Scenes using the
Spatial Attention Entropy of Semantic Segmentation Transformers [99.22536338338011]
セマンティックセグメンテーショントランスの異なるバックボーン層の空間的注意度について検討する。
我々はこれを、未知のオブジェクトをさまざまな背景に分割するのに使用できるヒートマップを抽出することで活用する。
本手法はトレーニング不要であり,その計算オーバーヘッドは無視できる。
論文 参考訳(メタデータ) (2022-12-29T18:07:56Z) - Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。
提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
論文 参考訳(メタデータ) (2022-12-28T03:45:56Z) - Demystify Self-Attention in Vision Transformers from a Semantic
Perspective: Analysis and Application [21.161850569358776]
自己認識機構はコンピュータビジョンや自然言語処理など多くの分野で大きな成功を収めている。
多くの既存の視覚変換器(ViT)は、単に視覚タスクに適応するためにNLPから固有のトランスフォーマー設計を施している。
本稿では,低レベル表現を中間レベル空間にマッピングする典型的な画像処理手法を提案する。
論文 参考訳(メタデータ) (2022-11-13T15:18:31Z) - Improving Attention-Based Interpretability of Text Classification
Transformers [7.027858121801477]
テキスト分類における変圧器の注意に基づく解釈可能性手法の有効性について検討する。
適切な設定で、最新技術に匹敵する結果が得られるようなタスクに注意を向けることが示される。
論文 参考訳(メタデータ) (2022-09-22T09:19:22Z) - Deep Frequency Filtering for Domain Generalization [55.66498461438285]
Deep Neural Networks(DNN)は、学習プロセスにおいて、いくつかの周波数成分を優先する。
本稿では、ドメイン一般化可能な特徴を学習するためのDeep Frequency Filtering (DFF)を提案する。
提案したDFFをベースラインに適用すると,ドメインの一般化タスクにおける最先端の手法よりも優れることを示す。
論文 参考訳(メタデータ) (2022-03-23T05:19:06Z) - Incorporating Residual and Normalization Layers into Analysis of Masked
Language Models [29.828669678974983]
我々は、トランスフォーマーの分析範囲を、単に注目パターンから注目ブロック全体まで拡張する。
トランスフォーマーをベースとしたマスキング言語モデルの解析により,トークンとトークンの相互作用が従来想定されていた中間表現にほとんど影響を与えないことが分かる。
論文 参考訳(メタデータ) (2021-09-15T08:32:20Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - SPIN: Structure-Preserving Inner Offset Network for Scene Text
Recognition [48.676064155070556]
任意テキストの出現は、シーンテキスト認識タスクにおいて大きな課題となる。
我々は新しい学習可能な幾何学的非関連モジュールであるStructure-Preserving Inner Offset Network (SPIN)を導入する。
SPINは、ネットワーク内のソースデータの色操作を可能にする。
論文 参考訳(メタデータ) (2020-05-27T01:47:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。