論文の概要: SEA: Sparse Linear Attention with Estimated Attention Mask

• arxiv url: http://arxiv.org/abs/2310.01777v2
• Date: Mon, 25 Mar 2024 04:04:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 02:57:27.907928
• Title: SEA: Sparse Linear Attention with Estimated Attention Mask
• Title（参考訳）: SEA: 意識マスクを推定したスパースリニア注意
• Authors: Heejun Lee, Jina Kim, Jeffrey Willette, Sung Ju Hwang,
• Abstract要約: 長い連続性は、注意操作の二次的な複雑さのために問題を引き起こす。 従来の研究は、注意行列をスパース化または線形に近似することで複雑さを低下させることを目的としていた。 推定アテンションマスクを用いたSparse linear attentionを提案する。
• 参考スコア（独自算出の注目度）: 51.22399593954608
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The transformer architecture has driven breakthroughs in recent years on tasks which require modeling pairwise relationships between sequential elements, as is the case in natural language understanding. However, long seqeuences pose a problem due to the quadratic complexity of the attention operation. Previous research has aimed to lower the complexity by sparsifying or linearly approximating the attention matrix. Yet, these approaches cannot straightforwardly distill knowledge from a teacher's attention matrix and often require complete retraining from scratch. Furthermore, previous sparse and linear approaches lose interpretability if they cannot produce full attention matrices. To address these challenges, we propose SEA: Sparse linear attention with an Estimated Attention mask. SEA estimates the attention matrix with linear complexity via kernel-based linear attention, then subsequently creates a sparse attention matrix with a top-k selection to perform a sparse attention operation. For language modeling tasks (Wikitext2), previous linear and sparse attention methods show roughly two-fold worse perplexity scores over the quadratic OPT-1.3B baseline, while SEA achieves better perplexity than OPT-1.3B, using roughly half the memory of OPT-1.3B, providing interpretable attention matrix. We believe that our work will have a large practical impact, as it opens the possibility of running large transformers on resource-limited devices with less memory.
• Abstract（参考訳）: 近年のトランスフォーマーアーキテクチャは、自然言語理解のように、逐次的要素間のペアワイズ関係のモデリングを必要とするタスクにおいて、ブレークスルーを導いている。 しかし、長い連続性は注意操作の二次的な複雑さのために問題を引き起こす。 従来の研究は、注意行列をスパース化または線形に近似することで複雑さを低下させることを目的としていた。 しかし、これらの手法は、教師の注意マトリックスから直接知識を抽出することはできず、しばしばスクラッチから完全に再訓練する必要がある。 さらに、従来のスパースと線形アプローチは、完全な注意行列を生成できない場合、解釈可能性を失う。 これらの課題に対処するため,提案するSEA: 推定アテンションマスクを用いた疎線形アテンションを提案する。 SEAは、カーネルベースの線形注意による線形複雑度でアテンション行列を推定し、その後、トップk選択によるスパースアテンション行列を生成して、スパースアテンション演算を行う。 言語モデリングタスク(Wikitext2)では、以前の線形およびスパースなアテンションメソッドは、二次的なOPT-1.3Bベースラインよりも約2倍悪いパープレキシティスコアを示し、SEAはOPT-1.3Bの約半分のメモリを使用してOPT-1.3Bよりも優れたパープレキシティを達成し、解釈可能なアテンションマトリックスを提供する。 メモリの少ないリソース制限のデバイスで大規模なトランスフォーマーを動作させることで、我々の作業に大きな実践的影響を与えるだろうと考えています。

関連論文リスト

• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Lightning Attention-2: A Free Lunch for Handling Unlimited Sequence Lengths in Large Language Models [20.78813311569383]
  本稿では、線形アテンションによる理論計算の利点を実現するための最初の線形アテンション実装であるLightning Attentionを紹介する。 具体的には、従来のアテンション機構をブロック内に適用し、インターブロックに対して線形アテンションカーネルのトリックを適用する。 異なるモデルサイズとシーケンス長について様々な実験を行った。
  論文  参考訳（メタデータ） (2024-01-09T16:27:28Z)
• HyperAttention: Long-context Attention in Near-Linear Time [78.33061530066185]
  本稿では,長期的文脈の複雑さの増大に伴う計算課題に対処するため,HyperAttentionという近似的な注意機構を提案する。 実証的には、大規模なエントリを特定するためにLocality Sensitive Hashing(LSH)を使用して、HyperAttentionは既存のメソッドよりも優れています。 各種長文長データセットにおけるHyperAttentionの実証的性能を検証した。
  論文  参考訳（メタデータ） (2023-10-09T17:05:25Z)
• DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
  動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。 DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。 様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T03:06:36Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。