論文の概要: GlobEnc: Quantifying Global Token Attribution by Incorporating the Whole Encoder Layer in Transformers

• arxiv url: http://arxiv.org/abs/2205.03286v1
• Date: Fri, 6 May 2022 15:13:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-09 13:11:20.577383
• Title: GlobEnc: Quantifying Global Token Attribution by Incorporating the Whole Encoder Layer in Transformers
• Title（参考訳）: globenc: トランスフォーマーにエンコーダ層全体を組み込むことによるグローバルトークン属性の定量化
• Authors: Ali Modarressi, Mohsen Fayyaz, Yadollah Yaghoobzadeh, Mohammad Taher Pilehvar
• Abstract要約: 本稿では,エンコーダブロックにすべてのコンポーネントを組み込んだ新しいトークン属性解析手法を提案する。 実験の結果,ほぼすべてのエンコーダコンポーネントを組み込むことで,ローカルとグローバルの両方でより正確な分析が可能であることが判明した。
• 参考スコア（独自算出の注目度）: 19.642769560417904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been a growing interest in interpreting the underlying dynamics of Transformers. While self-attention patterns were initially deemed as the primary option, recent studies have shown that integrating other components can yield more accurate explanations. This paper introduces a novel token attribution analysis method that incorporates all the components in the encoder block and aggregates this throughout layers. Through extensive quantitative and qualitative experiments, we demonstrate that our method can produce faithful and meaningful global token attributions. Our experiments reveal that incorporating almost every encoder component results in increasingly more accurate analysis in both local (single layer) and global (the whole model) settings. Our global attribution analysis significantly outperforms previous methods on various tasks regarding correlation with gradient-based saliency scores. Our code is freely available at https://github.com/mohsenfayyaz/GlobEnc.
• Abstract（参考訳）: トランスフォーマーの基盤となるダイナミクスを解釈することへの関心が高まっている。 自己注意パターンは、当初は主要な選択肢と考えられていたが、最近の研究では、他のコンポーネントを統合することでより正確な説明が得られることが示されている。 本稿では,エンコーダブロック内のすべてのコンポーネントをインクルードし,これをレイヤ全体に集約する,新しいトークン帰属分析手法を提案する。 定量的および定性的実験を通じて,本手法が忠実で有意義なグローバルトークン属性を生成できることを示す。 私たちの実験では、ほぼすべてのエンコーダコンポーネントを組み込むことで、ローカル(シングル層)とグローバル(モデル全体)の両方でより正確な分析が可能になります。 我々のグローバル属性分析は、勾配に基づく正解率スコアとの相関に関する様々なタスクにおいて、過去の手法よりも有意に優れていた。 私たちのコードはhttps://github.com/mohsenfayyaz/globencで無料で利用できます。

関連論文リスト

• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)
• Quantifying Context Mixing in Transformers [13.98583981770322]
  自己注意重みとその変換された変種は、トランスフォーマーモデルにおけるトークンとトークンの相互作用を分析するための主要な情報源となっている。 本稿では,トランスフォーマー用にカスタマイズされた新しいコンテキスト混合スコアであるValue Zeroingを提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:19:02Z)
• Synthetic-to-Real Domain Generalized Semantic Segmentation for 3D Indoor Point Clouds [69.64240235315864]
  本稿では,本課題に対して,合成-実領域一般化設定を提案する。 合成と実世界のポイントクラウドデータのドメインギャップは、主に異なるレイアウトとポイントパターンにあります。 CINMixとMulti-prototypeの両方が分配ギャップを狭めることを示した。
  論文  参考訳（メタデータ） (2022-12-09T05:07:43Z)
• Coalescing Global and Local Information for Procedural Text Understanding [70.10291759879887]
  完全な手続き的理解ソリューションは、入力のローカル・グローバル・ビューとアウトプットのグローバル・ビューの3つの中核的な側面を組み合わせるべきである。 本稿では,エンティティと時間表現を構築する新しいモデルであるCoalescing Global and Local InformationCGを提案する。 一般的な手続き的テキスト理解データセットの実験は、我々のモデルが最先端の結果を得ることを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:16:32Z)
• Exploring and Exploiting Multi-Granularity Representations for Machine Reading Comprehension [13.191437539419681]
  適応的双方向注意カプセルネットワーク(ABA-Net)という新しい手法を提案する。 ABA-Netは、異なるレベルのソース表現を予測子に適応的に活用する。 私たちはSQuAD 1.0データセットに新しい最先端パフォーマンスを設定しました。
  論文  参考訳（メタデータ） (2022-08-18T10:14:32Z)
• Effective and Interpretable Information Aggregation with Capacity Networks [3.4012007729454807]
  キャパシティネットワークは、意味論的意味のある空間に集約できる複数の解釈可能な中間結果を生成する。 この単純な帰納バイアスを実装することで、異なるエンコーダ・デコーダアーキテクチャの改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-07-25T09:45:16Z)
• Measuring the Mixing of Contextual Information in the Transformer [0.19116784879310028]
  注意ブロック - 複数頭部の注意、残差接続、および層正規化 - を考慮し、トークンとトークンの相互作用を測定するための計量を定義する。 次に,階層的な解釈を集約し,モデル予測のための入力属性スコアを提供する。 実験により,本手法は忠実な説明を提供し,類似のアグリゲーション法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-08T17:21:27Z)
• Unifying Global-Local Representations in Salient Object Detection with Transformer [55.23033277636774]
  我々は、視覚変換器という新しいアテンションベースのエンコーダを有能な物体検出に導入する。 非常に浅い層でのグローバルビューでは、トランスフォーマーエンコーダはより局所的な表現を保持する。 提案手法は,5つのベンチマークにおいて,他のFCN法およびトランスフォーマー法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-05T17:51:32Z)
• Rethinking Global Context in Crowd Counting [70.54184500538338]
  純粋な変換器は、重なり合う画像パッチからグローバル情報で特徴を抽出するために用いられる。 分類によってインスピレーションを得て、入力シーケンスにコンテキストトークンを追加し、画像パッチに対応するトークンと情報交換を容易にする。
  論文  参考訳（メタデータ） (2021-05-23T12:44:27Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。