論文の概要: Efficient Long-Range Transformers: You Need to Attend More, but Not Necessarily at Every Layer

• arxiv url: http://arxiv.org/abs/2310.12442v1
• Date: Thu, 19 Oct 2023 03:32:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 17:06:38.087938
• Title: Efficient Long-Range Transformers: You Need to Attend More, but Not Necessarily at Every Layer
• Title（参考訳）: 長方形変換器の効率性:もっと注意する必要があるが、すべての層で必要ではない
• Authors: Qingru Zhang, Dhananjay Ram, Cole Hawkins, Sheng Zha, Tuo Zhao
• Abstract要約: 我々は、Mixed Attention Spansを用いた実装が容易な変圧器であるMASFormerを提案する。 MASFormerは、長距離依存関係をキャプチャするために完全に注意を払っているが、少数の層しか持たない。 実験の結果,1.3BパラメータのデコーダのみのMASFormerモデルは,バニラ変圧器との競合性能を十分に発揮できることがわかった。
• 参考スコア（独自算出の注目度）: 36.75562615596186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained transformer models have demonstrated remarkable performance across various natural language processing tasks. These models leverage the attention mechanism to capture long- and short-range dependencies in the sequence. However, the (full) attention mechanism incurs high computational cost - quadratic in the sequence length, which is not affordable in tasks with long sequences, e.g., inputs with 8k tokens. Although sparse attention can be used to improve computational efficiency, as suggested in existing work, it has limited modeling capacity and often fails to capture complicated dependencies in long sequences. To tackle this challenge, we propose MASFormer, an easy-to-implement transformer variant with Mixed Attention Spans. Specifically, MASFormer is equipped with full attention to capture long-range dependencies, but only at a small number of layers. For the remaining layers, MASformer only employs sparse attention to capture short-range dependencies. Our experiments on natural language modeling and generation tasks show that a decoder-only MASFormer model of 1.3B parameters can achieve competitive performance to vanilla transformers with full attention while significantly reducing computational cost (up to 75%). Additionally, we investigate the effectiveness of continual training with long sequence data and how sequence length impacts downstream generation performance, which may be of independent interest.
• Abstract（参考訳）: 事前訓練されたトランスモデルは、様々な自然言語処理タスクにおいて顕著な性能を示した。 これらのモデルはアテンション機構を利用して、シーケンス内の長距離および短距離の依存関係をキャプチャする。 しかし、(完全な)アテンション機構はシーケンス長の計算コストを発生させるが、長いシーケンスを持つタスク、例えば8kトークンの入力では手頃ではない。 sparse attentionは計算効率の向上に利用できるが、既存の研究で示唆されているように、モデリング能力は限られており、長いシーケンスで複雑な依存関係を捉えられないことが多い。 そこで本稿では,この課題に取り組むため,実装が容易な変圧器であるmasformerを提案する。 具体的には、MASFormerは長距離依存関係をキャプチャするが、少数のレイヤに限られる。 残りのレイヤでは、masformerは短い範囲の依存関係を捉えるのにあまり注意を払わない。 自然言語モデリングおよび生成タスクに関する実験により,1.3BパラメータのデコーダのみのMASFormerモデルにより,バニラ変圧器との競合性能を十分に向上し,計算コスト(最大75%)を大幅に削減できることを示した。 さらに,長いシーケンスデータを用いた連続学習の有効性と,独立した関心を持つ下流世代のパフォーマンスにシーケンス長が与える影響について検討した。

関連論文リスト

• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
  本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。 トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T18:34:58Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Ring Attention with Blockwise Transformers for Near-Infinite Context [88.61687950039662]
  本稿では,複数のデバイスにまたがって長いシーケンスを分散するために,ブロックワイドな自己注意とフィードフォワードの計算を利用する,ブロックワイドトランスフォーマーを用いたリングアテンション(リングアテンション)を提案する。 提案手法では,先行メモリ効率の変換器で達成可能なものよりも,デバイス数倍のシーケンスのトレーニングと推論が可能となる。
  論文  参考訳（メタデータ） (2023-10-03T08:44:50Z)
• Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
  Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。 メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T19:25:51Z)
• A Unified View of Long-Sequence Models towards Modeling Million-Scale Dependencies [0.0]
  既存の解と長周期モデリングを、その純粋数学的定式化の観点から比較する。 次に、長いコンテキスト長がアプリケーションに依存しているにもかかわらず、より良いパフォーマンスをもたらすことを実証します。 大量のキャパシティを持つスパースモデルに着想を得て,百万単位の依存関係を扱う機械学習システムを提案する。
  論文  参考訳（メタデータ） (2023-02-13T09:47:31Z)
• Efficient Long Sequence Modeling via State Space Augmented Transformer [92.74707853711374]
  我々はSPADE($underlinetextbfS$tate sunderlinetextbfP$ace)を提案する。 我々は,SPADEの底層にSSMを付加し,他の層に対して効率的な局所的注意法を適用した。 Long Range Arenaベンチマークと言語モデリングタスクの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-15T20:51:27Z)
• Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting [25.417560221400347]
  長周期時系列予測(LSTF)は高い予測能力を必要とする。 最近の研究は、予測能力を高めるトランスフォーマーの可能性を示しています。 我々は3つの特徴を有するlstf用効率的なトランスフォーマーモデル,informerを設計した。
  論文  参考訳（メタデータ） (2020-12-14T11:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。