論文の概要: Parallelizing Linear Transformers with the Delta Rule over Sequence Length

• arxiv url: http://arxiv.org/abs/2406.06484v3
• Date: Thu, 31 Oct 2024 19:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:33:17.368963
• Title: Parallelizing Linear Transformers with the Delta Rule over Sequence Length
• Title（参考訳）: 系列長によるデルタ則を用いた線形変換器の並列化
• Authors: Songlin Yang, Bailin Wang, Yu Zhang, Yikang Shen, Yoon Kim,
• Abstract要約: この研究は、デルタ則で線形変圧器を訓練するためのハードウェア効率の良いアルゴリズムについて述べる。 我々は100Bトークンに対して1.3Bモデルをトレーニングし、最近の線形時間ベースラインよりも優れていることを発見した。
• 参考スコア（独自算出の注目度）: 49.88826673324244
• License:
• Abstract: Transformers with linear attention (i.e., linear transformers) and state-space models have recently been suggested as a viable linear-time alternative to transformers with softmax attention. However, these models still underperform transformers especially on tasks that require in-context retrieval. While more expressive variants of linear transformers which replace the additive update in linear transformers with the delta rule (DeltaNet) have been found to be more effective at associative recall, existing algorithms for training such models do not parallelize over sequence length and are thus inefficient to train on modern hardware. This work describes a hardware-efficient algorithm for training linear transformers with the delta rule, which exploits a memory-efficient representation for computing products of Householder matrices. This algorithm allows us to scale up DeltaNet to standard language modeling settings. We train a 1.3B model for 100B tokens and find that it outperforms recent linear-time baselines such as Mamba and GLA in terms of perplexity and zero-shot performance on downstream tasks. We also experiment with two hybrid models which combine DeltaNet layers with (1) sliding-window attention layers every other layer or (2) two global attention layers, and find that these hybrids outperform strong transformer baselines.
• Abstract（参考訳）: 線形アテンションを持つ変圧器(リニアトランス)と状態空間モデル(英語版)は、近年、ソフトマックスアテンションを持つ変圧器の線形時間代替品として提案されている。 しかし、これらのモデルは、特にコンテキスト内検索を必要とするタスクにおいて、トランスフォーマーを過小評価している。 線形変圧器の付加的な更新をデルタ規則(DeltaNet)に置き換えたより表現力のある線形変圧器は、連想的リコールにおいてより効果的であることが示されているが、そのようなモデルの既存の訓練アルゴリズムはシーケンス長を並列化せず、現代のハードウェア上でのトレーニングには非効率である。 本研究は,線形変圧器をデルタ則で訓練するハードウェア効率のアルゴリズムについて述べる。 このアルゴリズムにより、DeltaNetを標準言語モデリング設定にスケールアップできます。 我々は100Bトークンに対して1.3Bモデルをトレーニングし、下流タスクにおけるパープレキシティとゼロショットパフォーマンスの観点から、MambaやGLAといった最近の線形時間ベースラインよりも優れていることを発見した。 また,(1)スライドウインドウの注意層と,(2)グローバルな注意層をそれぞれ組み合わせた2つのハイブリッドモデルを実験した結果,これらのハイブリッドはトランスフォーマーベースラインよりも優れていることがわかった。

関連論文リスト

• The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
  注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留することが可能であることを示す。 その結果、注意層を4分の1含むハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-27T17:56:11Z)
• Your Transformer is Secretly Linear [7.935853865895353]
  連続層間の埋め込み変換を解析し, ほぼ完全な線形関係を明らかにする。 変換器の最も線形なブロックのいくつかを除去あるいは線形に近似することは、損失やモデル性能に大きな影響を与えないことを示す。 より小さなモデルに対する事前学習実験では, 層状リニアリティの低減を目的としたコサイン類似性に基づく正則化を導入する。
  論文  参考訳（メタデータ） (2024-05-19T22:44:00Z)
• Gated Linear Attention Transformers with Hardware-Efficient Training [60.670102007737476]
  本研究は、並列化性に対してメモリ移動をオフにする線形注意のためのハードウェア効率のアルゴリズムについて述べる。 次に、このアルゴリズムを、データ依存ゲートを用いたより表現力豊かな線形アテンションに一般化する。 変圧器の標準アテンション層に代えて使用すると、結果として生じるゲート状リニアアテンショントランスが競合的に動作することが分かる。
  論文  参考訳（メタデータ） (2023-12-11T18:51:59Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Momentum Transformer: Closing the Performance Gap Between Self-attention and Its Linearization [31.28396970291575]
  効率の良い変圧器は、変圧器の二次的な複雑さを減らすために提案されているが、精度は著しく低下している。 まず、勾配降下ステップとして注目マップの計算における線形注意と残差接続を解釈する。 次に、これらの成分に運動量を導入し、線形メモリと計算複雑性を維持しつつ、線形変圧器の精度を向上させるために運動量を利用するエンファンモーメント変換器を提案する。
  論文  参考訳（メタデータ） (2022-08-01T02:37:49Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
  ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。 我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
  論文  参考訳（メタデータ） (2020-11-08T15:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。