論文の概要: Sparse is Enough in Scaling Transformers

• arxiv url: http://arxiv.org/abs/2111.12763v1
• Date: Wed, 24 Nov 2021 19:53:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 15:28:33.802316
• Title: Sparse is Enough in Scaling Transformers
• Title（参考訳）: Sparseは変圧器のスケーリングで十分
• Authors: Sebastian Jaszczur, Aakanksha Chowdhery, Afroz Mohiuddin, {\L}ukasz Kaiser, Wojciech Gajewski, Henryk Michalewski, Jonni Kanerva
• Abstract要約: 大規模なTransformerモデルは、多くのタスクにおいて印象的な結果をもたらすが、トレーニングや微調整は高価であり、デコードが遅いため、使用と研究が手に入らない。 本稿では,スパース層を用いた次世代トランスフォーマーモデルのファミリーであるScaling Transformerを提案する。
• 参考スコア（独自算出の注目度）: 12.561317511514469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Transformer models yield impressive results on many tasks, but are expensive to train, or even fine-tune, and so slow at decoding that their use and study becomes out of reach. We address this problem by leveraging sparsity. We study sparse variants for all layers in the Transformer and propose Scaling Transformers, a family of next generation Transformer models that use sparse layers to scale efficiently and perform unbatched decoding much faster than the standard Transformer as we scale up the model size. Surprisingly, the sparse layers are enough to obtain the same perplexity as the standard Transformer with the same number of parameters. We also integrate with prior sparsity approaches to attention and enable fast inference on long sequences even with limited memory. This results in performance competitive to the state-of-the-art on long text summarization.
• Abstract（参考訳）: 大規模なTransformerモデルは、多くのタスクにおいて印象的な結果をもたらすが、トレーニングや微調整は高価であり、デコードが遅いため、使用と研究が手に入らない。 我々はこの問題をスパーシティを利用して解決する。 本研究では,Transformerの全レイヤのスパース変種について検討し,モデルサイズをスケールアップする過程で,スパース・レイヤを効率よく拡張し,非バッチデコードを実行する次世代トランスフォーマモデルであるScaling Transformerを提案する。 驚くべきことに、スパース層は標準のTransformerと同じ数のパラメータを持つ複雑さを得るのに十分である。 また、注意すべき空間的アプローチと統合し、限られたメモリでも長いシーケンスで高速な推論を可能にする。 この結果、長いテキスト要約の最先端技術に匹敵するパフォーマンスが得られます。

関連論文リスト

• MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
  ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。 層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。 従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
  論文  参考訳（メタデータ） (2024-05-25T03:24:32Z)
• Do Efficient Transformers Really Save Computation? [34.15764596496696]
  我々は、効率的な変換器、特にスパース変換器と線形変換器の機能と限界に焦点を当てる。 以上の結果から,これらのモデルは一般のDPタスクを解くのに十分な表現力を持っているが,期待とは裏腹に,問題のサイズに合わせてスケールするモデルサイズが必要であることが示唆された。 我々は,これらのモデルが標準のTransformerよりも効率的であるようなDP問題のクラスを同定する。
  論文  参考訳（メタデータ） (2024-02-21T17:00:56Z)
• SSformer: A Lightweight Transformer for Semantic Segmentation [7.787950060560868]
  Swin Transformerは階層アーキテクチャとシフトウィンドウを使用して、様々な視覚タスクで新しい記録を樹立した。 我々はSSformerと呼ばれる軽量で効果的なトランスモデルを設計する。 実験の結果,提案したSSformerは最先端モデルと同等のmIoU性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-08-03T12:57:00Z)
• Linearizing Transformer with Key-Value Memory Bank [54.83663647680612]
  我々は、ソースシーケンスを低次元表現に投影するアプローチであるMemSizerを提案する。 MemSizerは同じ線形時間複雑性を達成するだけでなく、効率的なリカレントスタイルの自己回帰生成も楽しめる。 我々はMemSizerがバニラ変圧器の効率と精度のトレードオフを改善することを実証した。
  論文  参考訳（メタデータ） (2022-03-23T18:10:18Z)
• Block-Recurrent Transformers [49.07682696216708]
  本稿では,逐次的にトランス層を適用するBlock-Recurrent Transformerを提案する。 我々のリカレントセルはシングルトークンではなくトークンブロック上で動作し、アクセルハードウェアを効率的に活用するためにブロック内の並列計算を利用する。
  論文  参考訳（メタデータ） (2022-03-11T23:44:33Z)
• Hierarchical Transformers Are More Efficient Language Models [19.061388006885686]
  トランスフォーマーモデルは、多くのNLPおよびシーケンスモデリングタスクにおいて印象的な結果をもたらす。 注目すべきは、Transformerは長いシーケンスを処理でき、長いコヒーレントな出力を生成することができることだ。 我々は、長いシーケンスを効率的に処理するトランスフォーマーの鍵は、明示的な階層アーキテクチャを持つことにあると仮定する。
  論文  参考訳（メタデータ） (2021-10-26T14:00:49Z)
• FNet: Mixing Tokens with Fourier Transforms [0.578717214982749]
  Transformerエンコーダアーキテクチャは、限られた精度コストで大幅に高速化できることを示しています。 入力トークンを「混合」する単純な線形変換に自己着脱部分層を置き換える。 FNetと呼ばれる結果のモデルは、長い入力に対して非常に効率的にスケールします。
  論文  参考訳（メタデータ） (2021-05-09T03:32:48Z)
• Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
  ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。 我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
  論文  参考訳（メタデータ） (2020-11-08T15:53:56Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
  本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
  論文  参考訳（メタデータ） (2020-05-05T23:32:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。