論文の概要: Leveraging redundancy in attention with Reuse Transformers

• arxiv url: http://arxiv.org/abs/2110.06821v1
• Date: Wed, 13 Oct 2021 16:08:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 12:54:25.252969
• Title: Leveraging redundancy in attention with Reuse Transformers
• Title（参考訳）: 再利用変圧器における冗長性活用
• Authors: Srinadh Bhojanapalli, Ayan Chakrabarti, Andreas Veit, Michal Lukasik, Himanshu Jain, Frederick Liu, Yin-Wen Chang, Sanjiv Kumar
• Abstract要約: Pairwise dot product-based attentionでは、Transformerは入力依存の方法でトークン間で情報を交換することができる。 典型的なTransformerモデルは、同じシーケンスに対してそのようなペアワイズアテンションスコアを何度も計算する。 本稿では,複数の層において1層で計算された注意点を再利用する新しいアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 58.614198953733194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pairwise dot product-based attention allows Transformers to exchange information between tokens in an input-dependent way, and is key to their success across diverse applications in language and vision. However, a typical Transformer model computes such pairwise attention scores repeatedly for the same sequence, in multiple heads in multiple layers. We systematically analyze the empirical similarity of these scores across heads and layers and find them to be considerably redundant, especially adjacent layers showing high similarity. Motivated by these findings, we propose a novel architecture that reuses attention scores computed in one layer in multiple subsequent layers. Experiments on a number of standard benchmarks show that reusing attention delivers performance equivalent to or better than standard transformers, while reducing both compute and memory usage.
• Abstract（参考訳）: ペアワイズドット製品ベースの注意は、トランスフォーマーが入力に依存した方法でトークン間の情報交換を可能にし、言語とビジョンのさまざまなアプリケーションでの成功の鍵となる。 しかし、典型的なトランスフォーマーモデルでは、複数のレイヤの複数のヘッドにおいて、同じシーケンスに対して繰り返しペアワイズアテンションスコアを計算する。 我々はこれらのスコアの頭や層間の経験的類似性を体系的に分析し、それらがかなり冗長であることを示す。 そこで本研究では,複数の層で計算された注意点を再利用する新しいアーキテクチャを提案する。 多くの標準ベンチマークの実験では、注意の再利用は標準的なトランスフォーマーと同等以上のパフォーマンスを提供すると同時に、計算とメモリ使用量の削減を図っている。

関連論文リスト

• On Layer-wise Representation Similarity: Application for Multi-Exit Models with a Single Classifier [20.17288970927518]
  本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。 本稿では,内部表現の類似性を高めるための協調学習手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T16:41:09Z)
• Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
  本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。 特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。 このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T17:35:44Z)
• Manifold-Preserving Transformers are Effective for Short-Long Range Encoding [39.14128923434994]
  マルチヘッドセルフアテンションベースのトランスフォーマーは、異なる学習タスクにおいて有望であることを示す。 本研究では,一対のトークン間の層間距離保存を理論的に保証するエンコーダモデルTransJectを提案する。
  論文  参考訳（メタデータ） (2023-10-22T06:58:28Z)
• Attention over pre-trained Sentence Embeddings for Long Document Classification [4.38566347001872]
  変圧器はトークンの数に2次注意の複雑さがあるため、短いシーケンスに制限されることが多い。 文を意味的に意味のある埋め込みから始めるために,事前学習した文変換器を活用することを提案する。 本稿では,3つの標準文書分類データセットに対して,この簡単なアーキテクチャを用いて得られた結果について報告する。
  論文  参考訳（メタデータ） (2023-07-18T09:06:35Z)
• A Neural ODE Interpretation of Transformer Layers [8.839601328192957]
  マルチヘッドアテンションとマルチレイヤパーセプトロン(MLP)レイヤの交互パターンを使用するトランスフォーマーレイヤは、さまざまな機械学習問題に対して効果的なツールを提供する。 我々は、この接続を構築し、トランス層の内部構造を変更することを提案する。 実験により, この簡単な修正により, 複数のタスクにおけるトランスフォーマーネットワークの性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-12-12T16:18:58Z)
• SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
  分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。 SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。 我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T19:48:43Z)
• PSViT: Better Vision Transformer via Token Pooling and Attention Sharing [114.8051035856023]
  トークンプーリングとアテンション共有を併用したPSViTを提案する。 実験の結果,提案手法は画像ネット分類の精度を最大6.6%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-08-07T11:30:54Z)
• Learning Hard Retrieval Decoder Attention for Transformers [69.40942736249397]
  トランスフォーマー変換モデルは、容易に並列化できるマルチヘッドアテンション機構に基づいている。 ハード検索の注意機構は復号化の1.43倍高速であることを示す。
  論文  参考訳（メタデータ） (2020-09-30T13:18:57Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• Addressing Some Limitations of Transformers with Feedback Memory [51.94640029417114]
  トランスフォーマーは、フィードフォワードネットワークであるにもかかわらず、シーケンシャルな自動回帰タスクにうまく適用されている。 本稿では、過去のすべての表現を将来のすべての表現に公開する、フィードバックトランスフォーマーアーキテクチャを提案する。 言語モデリング、機械翻訳、強化学習の様々なベンチマークにおいて、表現能力の増大は、同等のトランスフォーマーよりもはるかに強力なパフォーマンスを持つ、小さくて浅いモデルを生成することができることを実証する。
  論文  参考訳（メタデータ） (2020-02-21T16:37:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。