論文の概要: PolySketchFormer: Fast Transformers via Sketching Polynomial Kernels
- arxiv url: http://arxiv.org/abs/2310.01655v3
- Date: Sun, 17 Mar 2024 23:35:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 03:42:41.728198
- Title: PolySketchFormer: Fast Transformers via Sketching Polynomial Kernels
- Title（参考訳）: PolySketchFormer: Sketching Polynomial Kernelsによる高速トランスフォーマー
- Authors: Praneeth Kacham, Vahab Mirrokni, Peilin Zhong,
- Abstract要約: モデル品質を犠牲にすることなくソフトマックスを効果的に置き換えることができることを示す。
本稿では,因果マスキングを効率的に適用するためのブロックベースアルゴリズムを提案する。
PolySketchFormerAttentionは、長いコンテキストを扱える言語モデルを訓練することで実証的に検証する。
- 参考スコア（独自算出の注目度）: 23.99075223506133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The quadratic time and memory complexity inherent to self-attention mechanisms, with respect to sequence length, presents a critical computational bottleneck in the training and deployment of large-scale Transformer-based language models. Recent theoretical results indicate the intractability of sub-quadratic softmax attention approximation under reasonable complexity assumptions. This paper addresses this challenge by first demonstrating that polynomial attention with high degree can effectively replace softmax without sacrificing model quality. Next, we develop polynomial sketching techniques from numerical linear algebra to achieve linear-time polynomial attention with approximation guarantees. Crucially, our approach achieves this speedup without requiring the sparsification of attention matrices. We also present a block-based algorithm to apply causal masking efficiently. Combining these techniques, we provide \emph{PolySketchFormer}, a practical linear-time Transformer architecture for language modeling that offers provable guarantees. We validate PolySketchFormer empirically by training language models capable of handling long contexts. These experiments utilize both synthetic and real-world datasets (PG19, Wikipedia and C4) on Google Cloud TPUs. For context lengths of 32k and GPT-2 style models, our model achieves a 2.5-4x speedup in training compared to FlashAttention, with no observed degradation in quality across our experiments.
- Abstract（参考訳）: 2次時間とメモリの複雑さは、シーケンス長に関して、大規模トランスフォーマーベースの言語モデルのトレーニングと展開において重要な計算ボトルネックを示す。
近年の理論的結果は, 四分法的ソフトマックスアテンション近似の合理的な複雑性仮定による抽出可能性を示している。
本稿では,高次多項式注意がモデル品質を犠牲にすることなく,ソフトマックスを効果的に置き換えることができることを最初に示すことで,この問題に対処する。
次に,数値線形代数を用いた多項式スケッチ手法を開発し,近似保証付き線形時間多項式注意を実現する。
重要なこととして,本手法は注意行列のスパース化を必要とせず,この高速化を実現する。
また,因果マスキングを効率的に適用するためのブロックベースアルゴリズムを提案する。
これらの技術を組み合わせることで、証明可能な保証を提供する言語モデリングのための実用的な線形時間変換アーキテクチャである \emph{PolySketchFormer} を提供する。
長いコンテキストを処理可能な言語モデルをトレーニングすることで,PolySketchFormerを実証的に検証する。
これらの実験では、Google Cloud TPU上の合成データセットと実世界のデータセット(PG19、Wikipedia、C4)の両方を利用している。
文脈長32k, GPT-2モデルでは,FlashAttentionと比較して2.5～4倍の高速化を実現している。
関連論文リスト
- Learning Linear Attention in Polynomial Time [115.68795790532289]
線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。
線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。
我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
論文 参考訳（メタデータ） (2024-10-14T02:41:01Z) - Power-Softmax: Towards Secure LLM Inference over Encrypted Data [2.4576879793338913]
ホモモルフィック暗号化(HE)は暗号化形式を持つために暗号手法を必要とする。
以前のアプローチでは、10倍を超える大きな度合いを持つ事前訓練されたモデルを直接近似していた。
トレーニングのための安定なフォームを提供し、トレーニングと近似し易い、新しいタイプの自己意図(self-attention)を提案する。
論文 参考訳（メタデータ） (2024-10-12T09:32:42Z) - Multi-Layer Transformers Gradient Can be Approximated in Almost Linear Time [17.086679273053853]
本研究では,新しい高速近似法により,ほぼ線形時間で勾配を計算することができることを示す。
勾配の効率を改善することで、この作業がより効果的なトレーニングと長期コンテキスト言語モデルのデプロイを促進することを期待する。
論文 参考訳（メタデータ） (2024-08-23T17:16:43Z) - Lean Attention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers [4.674454841332859]
トランスフォーマーベースのモデルは、自然言語処理の最も広く使われているアーキテクチャの1つとして登場した。
これらの巨大なモデルはメモリが空腹で、最先端のAIアクセラレータでも大きな推論レイテンシが生じる。
本稿ではトークン生成フェーズの自己認識をスケーラブルに計算する手法であるLeanAttentionを提案する。
論文 参考訳（メタデータ） (2024-05-17T00:52:39Z) - Decreasing the Computing Time of Bayesian Optimization using
Generalizable Memory Pruning [56.334116591082896]
本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。
BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。
すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
論文 参考訳（メタデータ） (2023-09-08T14:05:56Z) - Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。
既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。
我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文 参考訳（メタデータ） (2022-07-05T03:08:27Z) - Sketching as a Tool for Understanding and Accelerating Self-attention
for Long Sequences [52.6022911513076]
トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。
我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。
理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
論文 参考訳（メタデータ） (2021-12-10T06:58:05Z) - SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。
線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。
これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。
ソフトマックスフリー変圧器(SOFT)を初めて提案する。
論文 参考訳（メタデータ） (2021-10-22T17:57:29Z) - Predicting Attention Sparsity in Transformers [0.9786690381850356]
本稿では, 遠心注意の空間パターンを計算前に同定するモデルであるスペーサーファインダーを提案する。
我々の研究は、予測された注目グラフの間隔とリコールの間のトレードオフを広範囲に分析することで、モデル効率を研究するための新しい角度を提供する。
論文 参考訳（メタデータ） (2021-09-24T20:51:21Z) - A Reinforcement Learning Environment for Polyhedral Optimizations [68.8204255655161]
マルコフ決定過程(MDP)として多面体モデルにおける法的変換空間の形状に依存しない定式化を提案する。
変換を使う代わりに、定式化は可能なスケジュールの抽象空間に基づいている。
我々の総合的MDP定式化は、強化学習を用いて幅広いループで最適化ポリシーを学習することを可能にする。
論文 参考訳（メタデータ） (2021-04-28T12:41:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。