論文の概要: Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers

• arxiv url: http://arxiv.org/abs/2406.16747v1
• Date: Mon, 24 Jun 2024 15:55:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 14:05:36.938411
• Title: Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers
• Title（参考訳）: Sparserはより速く、より少ない:ロングレンジトランスフォーマーのための効率的なスパースアテンション
• Authors: Chao Lou, Zixia Jia, Zilong Zheng, Kewei Tu,
• Abstract要約: SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
• 参考スコア（独自算出の注目度）: 58.5711048151424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accommodating long sequences efficiently in autoregressive Transformers, especially within an extended context window, poses significant challenges due to the quadratic computational complexity and substantial KV memory requirements inherent in self-attention mechanisms. In this work, we introduce SPARSEK Attention, a novel sparse attention mechanism designed to overcome these computational and memory obstacles while maintaining performance. Our approach integrates a scoring network and a differentiable top-k mask operator, SPARSEK, to select a constant number of KV pairs for each query, thereby enabling gradient-based optimization. As a result, SPARSEK Attention offers linear time complexity and constant memory footprint during generation. Experimental results reveal that SPARSEK Attention outperforms previous sparse attention methods and provides significant speed improvements during both training and inference, particularly in language modeling and downstream tasks. Furthermore, our method can be seamlessly integrated into pre-trained Large Language Models (LLMs) with minimal fine-tuning, offering a practical solution for effectively managing long-range dependencies in diverse applications.
• Abstract（参考訳）: 自己回帰変換器において、特に拡張されたコンテキストウィンドウ内で、長いシーケンスを効率的に調整することは、2次計算の複雑さと、自己保持機構に固有のKVメモリ要求が原因で大きな課題を生じさせる。 本研究では,これらの計算およびメモリ障害を克服し,性能を維持しつつ,新たな注意機構であるSPARSEK Attentionを導入する。 提案手法は,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合し,勾配に基づく最適化を実現する。 その結果、SPARSEK Attentionは線形時間複雑性と生成時のメモリフットプリントを一定にする。 実験結果から,SPARSEK Attention は従来のスパースアテンション手法よりも優れており,特に言語モデリングや下流タスクにおいて,トレーニングと推論の双方において大幅な速度向上を実現していることが明らかとなった。 さらに,本手法は学習済みのLarge Language Model(LLM)に最小限の微調整でシームレスに統合することができ,多様なアプリケーションにおける長距離依存性を効果的に管理するための実用的なソリューションを提供する。

関連論文リスト

• Hybrid Dynamic Pruning: A Pathway to Efficient Transformer Inference [1.0919012968294923]
  本稿では,頭部の疎度を用いてトランスフォーマーを高速化し,疎度をブロックし,注意の計算を減らし,メモリアクセスを減らし,新しいアルゴリズムアーキテクチャの共設計手法を提案する。 注目スコアと注目ヘッドの巨大な冗長性を観測し、実行時に注目行列内の重要でないブロックをプルーする整数ベースの行平衡ブロックプルーニングを提案する。 また、実行時に重要でないヘッドを検出およびプルーする整数ベースのヘッドプルーニングを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:15:16Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs [111.12010207132204]
  UIO-LLMsは、長いコンテキスト設定下でのメモリ拡張トランスフォーマーの漸進的な最適化手法である。 本稿では,TBPTTアルゴリズムを用いて学習過程を改良する。 UIO-LLMは、Llama2-7b-chatのコンテキストウィンドウを4Kから100Kトークンに、2%の追加パラメータで拡張するなど、長いコンテキストを扱うことに成功した。
  論文  参考訳（メタデータ） (2024-06-26T08:44:36Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Bidirectional Long-Range Parser for Sequential Data Understanding [3.76054468268713]
  BLRP(Bidirectional Long-Range)は,長距離タスクの性能向上と効率向上を目的とした,新規で汎用的なアテンション機構である。 我々は、最先端の手法に対する競争結果を示すことによって、ビジョンと言語ドメインに対するアプローチの利点と汎用性を示す。
  論文  参考訳（メタデータ） (2024-04-08T05:45:03Z)
• Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
  Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。 メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T19:25:51Z)
• Adaptive Multi-Resolution Attention with Linear Complexity [18.64163036371161]
  本稿では,AdaMRA(Adaptive Multi-Resolution Attention)という新しい構造を提案する。 我々はマルチレゾリューション・マルチヘッド・アテンション・メカニズムを活用し、アテンションヘッドが粗い方法で長距離コンテキスト情報をキャプチャすることを可能にする。 科学コミュニティによるAdaMRAの利用を促進するため、コード実装を一般公開する予定である。
  論文  参考訳（メタデータ） (2021-08-10T23:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。