論文の概要: Alternating Updates for Efficient Transformers
- arxiv url: http://arxiv.org/abs/2301.13310v2
- Date: Tue, 3 Oct 2023 21:40:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 22:28:26.264935
- Title: Alternating Updates for Efficient Transformers
- Title（参考訳）: 効率的な変圧器の更新
- Authors: Cenk Baykal and Dylan Cutler and Nishanth Dikkala and Nikhil Ghosh and
Rina Panigrahy and Xin Wang
- Abstract要約: AltUp(AltUp)は、計算負担を伴わずにモデルの容量を増大させるシンプルな実装方法である。
ベンチマークトランスモデルと言語タスクに関する実験は、AltUpの一貫性のある有効性を示している。
- 参考スコア（独自算出の注目度）: 16.776162039115814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It has been well established that increasing scale in deep transformer
networks leads to improved quality and performance. However, this increase in
scale often comes with prohibitive increases in compute cost and inference
latency. We introduce Alternating Updates (AltUp), a simple-to-implement method
to increase a model's capacity without the computational burden. AltUp enables
the widening of the learned representation, i.e., the token embedding, while
only incurring a negligible increase in latency. AltUp achieves this by working
on a subblock of the widened representation at each layer and using a
predict-and-correct mechanism to update the inactivated blocks. We present
extensions of AltUp, such as its applicability to the sequence dimension, and
demonstrate how AltUp can be synergistically combined with existing approaches,
such as Sparse Mixture-of-Experts models, to obtain efficient models with even
higher capacity. Our experiments on benchmark transformer models and language
tasks demonstrate the consistent effectiveness of AltUp on a diverse set of
scenarios. Notably, on SuperGLUE and SQuAD benchmarks, AltUp enables up to
$87\%$ speedup relative to the dense baselines at the same accuracy.
- Abstract（参考訳）: ディープトランスフォーマーネットワークのスケールアップによって、品質とパフォーマンスが向上することが確立されている。
しかし、このスケールの増大は、しばしば計算コストと推論遅延の制限的な増加を伴う。
計算負担を伴わずにモデル容量を増大させる簡単な実装法であるAltUp(AltUp)を導入する。
AltUpは学習した表現、すなわちトークンの埋め込みの拡大を可能にするが、遅延の無視できる増加しか生じない。
AltUpは、各レイヤで拡張された表現のサブブロックに取り組み、不活性なブロックを更新するために予測と修正のメカニズムを使用する。
本稿では,AltUpの拡張について述べる。例えば,AltUpをSparse Mixture-of-Expertsモデルなどの既存手法と相乗的に組み合わせることで,より高いキャパシティを持つ効率的なモデルが得られることを示す。
ベンチマークトランスフォーマーモデルと言語タスクに関する実験により,様々なシナリオにおけるaltupの有効性が実証された。
特に、SuperGLUEとSQuADベンチマークでは、AltUpは同じ精度で密度の高いベースラインに対して最大8,7\%のスピードアップを可能にする。
関連論文リスト
- Attamba: Attending To Multi-Token States [6.5676809841642125]
Attambaは、状態空間モデルを用いてトークンの塊を圧縮する新しいアーキテクチャである。
変換器のキーと値のプロジェクションをSSMに置き換えることで、モデルの品質が向上し、フレキシブルなトークンチャンキングが可能になる。
アタンバは可変長のチャンク列に注意を向けることができ、二次スケーリングと線形スケーリングのスムーズな遷移を可能にする。
論文 参考訳（メタデータ） (2024-11-26T18:52:06Z) - Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳（メタデータ） (2024-04-18T09:17:06Z) - HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。
本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。
我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-09-11T05:17:55Z) - Instant Soup: Cheap Pruning Ensembles in A Single Pass Can Draw Lottery
Tickets from Large Models [106.19385911520652]
Lottery Ticket hypothesis (LTH)とその変種は、パラメーターワークを生成する大規模な事前訓練モデルを作成するために利用されてきた。
LTHは反復的フルトレーニングと反復的マグニチュードプルーニング(IMP)のプルーニングルーチンによって著しく抑制される
Instant Soup Pruning (ISP) を提案する。
論文 参考訳（メタデータ） (2023-06-18T03:09:52Z) - ClusTR: Exploring Efficient Self-attention via Clustering for Vision
Transformers [70.76313507550684]
本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。
具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。
結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
論文 参考訳（メタデータ） (2022-08-28T04:18:27Z) - Activating More Pixels in Image Super-Resolution Transformer [53.87533738125943]
トランスフォーマーベースの手法は、画像超解像のような低レベルの視覚タスクにおいて顕著な性能を示している。
本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。
提案手法は1dB以上で最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2022-05-09T17:36:58Z) - Learned Queries for Efficient Local Attention [11.123272845092611]
視覚変換器の自己保持機構は、高レイテンシと非効率なメモリ利用に悩まされる。
本稿では,クエリ・アンド・アテンション(QnA)と呼ばれる,新たなシフト不変なローカルアテンション層を提案する。
我々は、最先端モデルと同等の精度を達成しつつ、スピードとメモリの複雑さの改善を示す。
論文 参考訳（メタデータ） (2021-12-21T18:52:33Z) - Addressing Some Limitations of Transformers with Feedback Memory [51.94640029417114]
トランスフォーマーは、フィードフォワードネットワークであるにもかかわらず、シーケンシャルな自動回帰タスクにうまく適用されている。
本稿では、過去のすべての表現を将来のすべての表現に公開する、フィードバックトランスフォーマーアーキテクチャを提案する。
言語モデリング、機械翻訳、強化学習の様々なベンチマークにおいて、表現能力の増大は、同等のトランスフォーマーよりもはるかに強力なパフォーマンスを持つ、小さくて浅いモデルを生成することができることを実証する。
論文 参考訳（メタデータ） (2020-02-21T16:37:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。