論文の概要: Multi-Layer Transformers Gradient Can be Approximated in Almost Linear Time

• arxiv url: http://arxiv.org/abs/2408.13233v2
• Date: Tue, 15 Oct 2024 04:11:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 05:26:28.462585
• Title: Multi-Layer Transformers Gradient Can be Approximated in Almost Linear Time
• Title（参考訳）: ほぼ線形時間で近似できる多層変圧器
• Authors: Yingyu Liang, Zhizhou Sha, Zhenmei Shi, Zhao Song, Yufa Zhou,
• Abstract要約: 本研究では,新しい高速近似法により,ほぼ線形時間で勾配を計算することができることを示す。 勾配の効率を改善することで、この作業がより効果的なトレーニングと長期コンテキスト言語モデルのデプロイを促進することを期待する。
• 参考スコア（独自算出の注目度）: 17.086679273053853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The computational complexity of the self-attention mechanism in popular transformer architectures poses significant challenges for training and inference, and becomes the bottleneck for long inputs. Is it possible to significantly reduce the quadratic time complexity of computing the gradients in multi-layer transformer models? This paper proves that a novel fast approximation method can calculate the gradients in almost linear time $n^{1+o(1)}$ where $n$ is the input sequence length, while it maintains a polynomially small approximation error $1 / \mathrm{poly}(n)$ across the entire model. Our theory holds for general loss functions and when the multi-layer transformer model contains many practical sub-modules, such as residual connection, casual mask, and multi-head attention. By improving the efficiency of gradient computation, we hope that this work will facilitate more effective training and deployment of long-context language models based on our theoretical results.
• Abstract（参考訳）: 一般的なトランスフォーマーアーキテクチャにおける自己注意機構の計算複雑性は、トレーニングと推論に重大な課題をもたらし、長い入力のボトルネックとなる。 多層変圧器モデルにおける勾配計算の2次時間的複雑性を著しく低減することは可能か? 本稿では,新しい高速近似法がほぼ線形時間$n^{1+o(1)}$において,入力シーケンス長が$n$であり,多項式的に小さな近似誤差が1/\mathrm{poly}(n)$であることを示す。 我々の理論は、一般的な損失関数であり、多重層トランスモデルには、残差接続、カジュアルマスク、マルチヘッドアテンションなど、多くの実用的なサブモジュールが含まれている。 勾配計算の効率を向上させることにより、この研究により、我々の理論的結果に基づいて、より効果的な長文言語モデルの訓練と展開が促進されることを期待する。

関連論文リスト

• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• Tensor Attention Training: Provably Efficient Learning of Higher-order Transformers [18.331374727331077]
  テンソルアテンションの時間的複雑さは、変圧器におけるその利用にとって重要な障害である。 注意訓練の後方勾配をほぼ線形時間で計算できることを実証する。
  論文  参考訳（メタデータ） (2024-05-26T02:59:13Z)
• Fast Multipole Attention: A Divide-and-Conquer Attention Mechanism for Long Sequences [1.5484595752241124]
  我々は、長さ$n$のシーケンスに対する注意の時間とメモリの複雑さを低減するために、分割・参照戦略を利用する新しい注意機構であるFast Multipole Attentionを提案する。 階層的なアプローチは、クエリ、キー、値を$mathcalO(log n)$の解像度レベルにグループ化する。 我々は,高速多極変換器がメモリサイズや精度の点で,他の効率的な変換器よりもはるかに優れていることを実証的に見出した。
  論文  参考訳（メタデータ） (2023-10-18T13:40:41Z)
• MB-TaylorFormer: Multi-branch Efficient Transformer Expanded by Taylor Formula for Image Dehazing [88.61523825903998]
  トランスフォーマーネットワークは、コンピュータビジョンの分野における純粋な畳み込みニューラルネットワーク(CNN)を置き換えるようになった。 そこで本研究では,Taylor拡張を応用してソフトマックスアテンションを近似し,線形計算複雑性を実現するトランスフォーマー変種を提案する。 提案するTransformerにマルチスケールパッチを組み込んだマルチブランチアーキテクチャを導入する。 Taylor式(MB-TaylorFormer)により拡張されたMulti-branch Transformerと呼ばれる我々のモデルは、パッチ埋め込み段階でより柔軟に粗さを微細な特徴に埋め込むことができ、計算コストに制限のある長距離画素相互作用を捉えることができる。
  論文  参考訳（メタデータ） (2023-08-27T08:10:23Z)
• Transformers Learn Shortcuts to Automata [52.015990420075944]
  低深度変換器は任意の有限状態オートマトンを計算できる。 我々は,$O(log T)$レイヤを持つ変換器が,長さ$T$の入力シーケンス上で,オートマトンを正確に再現可能であることを示す。 さらに、これらの解の脆性について検討し、潜在的な緩和を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:45:48Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• A Solution for Large Scale Nonlinear Regression with High Rank and Degree at Constant Memory Complexity via Latent Tensor Reconstruction [0.0]
  本稿では,高非線形多変量関数を例から学習する新しい手法を提案する。 この手法は、連続函数をバイスで近似できるという性質を生かし、テンソルで表現できる。 モデルを学習するために,線形時間で実装可能な効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-04T14:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。