論文の概要: Greenformers: Improving Computation and Memory Efficiency in Transformer Models via Low-Rank Approximation

• arxiv url: http://arxiv.org/abs/2108.10808v1
• Date: Tue, 24 Aug 2021 15:51:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 15:11:35.319809
• Title: Greenformers: Improving Computation and Memory Efficiency in Transformer Models via Low-Rank Approximation
• Title（参考訳）: greenformers:低ランク近似による変圧器モデルの計算とメモリ効率の向上
• Authors: Samuel Cahyawijaya
• Abstract要約: 変換器モデルのモデル効率を改善するためのモデル効率手法の集合であるGreenformersを紹介する。 本稿では,ローランク変圧器と呼ばれる変圧器モデルの効率向上を目的とした低ランク分解手法を提案する。 モデルサイズを大幅に削減するため,ローランドトランスフォーマーはデバイス上でのデプロイメントに適していることを示す。
• 参考スコア（独自算出の注目度）: 3.3576886095389296
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this thesis, we introduce Greenformers, a collection of model efficiency methods to improve the model efficiency of the recently renowned transformer models with a low-rank approximation approach. The development trend of deep learning models tends to results in a more complex and larger model. Although it leads to a better and more accurate prediction, the resulting model becomes even more costly, as it requires weeks of training with a huge amount of GPU resources. Particularly, the size and computational cost of transformer-based models have increased tremendously since its first debut in 2017 from ~100 million parameters up to ~1.6 trillion parameters in early 2021. This computationally hungry model also incurs a substantial cost to the environment and even reaches an alarming level of carbon footprint. Some of these models are so massive that it is even impossible to run the model without a GPU cluster. Greenformers improve the model efficiency of transformer models by applying low-rank approximation approaches. Specifically, we propose a low-rank factorization approach to improve the efficiency of the transformer model called Low-Rank Transformer. We further compare our model with an existing low-rank factorization approach called Linformer. Based on our analysis, the Low-Rank Transformer model is suitable for improving both the time and memory efficiency in processing short-sequence (<= 512) input data, while the Linformer model is suitable for improving the efficiency in processing long-sequence input data (>= 512). We also show that Low-Rank Transformer is more suitable for on-device deployment, as it significantly reduces the model size. Additionally, we estimate that applying LRT to the existing BERT-base model can significantly reduce the computational, economical, and environmental costs for developing such models by more than 30% of its original costs.
• Abstract（参考訳）: 本稿では,最近注目されている変圧器モデルの低ランク近似手法によるモデル効率を向上させるためのモデル効率法集 greenformers を提案する。 ディープラーニングモデルの開発傾向は、より複雑で大きなモデルをもたらす傾向にある。 これはより良く正確な予測につながるが、大量のgpuリソースで数週間のトレーニングを必要とするため、結果として得られるモデルはさらにコストがかかる。 特に、トランスフォーマーベースのモデルのサイズと計算コストは、2017年のデビュー以来、2021年初頭に約1億のパラメータから約1.6兆のパラメータへと大幅に増加しています。 この計算的な空腹モデルもまた環境にかなりのコストをもたらし、カーボンフットプリントの脅威レベルにまで達する。 これらのモデルのいくつかは非常に巨大なので、GPUクラスタなしでモデルを実行することさえ不可能です。 グリーンフォーマーは低ランク近似アプローチを適用して変圧器モデルのモデル効率を向上させる。 具体的には,低ランク変圧器と呼ばれる変圧器モデルの効率を向上させるための低ランク分解手法を提案する。 さらに、我々のモデルをLinformerと呼ばれる既存の低ランク分解手法と比較する。 この分析に基づき、低ランクトランスフォーマモデルは短系列(<=512)入力データの処理における時間およびメモリ効率を向上させるのに適し、リンフォーマモデルは長系列入力データの処理効率を向上させるのに適している(>>512)。 また,低ランクトランスフォーマは,モデルサイズが大幅に削減されるため,デバイス上でのデプロイメントに適していることを示す。 さらに、既存のBERTベースモデルにLRTを適用することで、そのようなモデルを開発するための計算、経済、環境コストを、当初のコストの30%以上削減できると見積もっている。

関連論文リスト

• PELA: Learning Parameter-Efficient Models with Low-Rank Approximation [16.9278983497498]
  そこで本研究では,中間学習段階を導入することにより,事前学習モデルのパラメータ効率を向上させる手法を提案する。 これにより、下流の微調整タスクにローランクモデルの直接的かつ効率的な利用が可能になる。
  論文  参考訳（メタデータ） (2023-10-16T07:17:33Z)
• STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning [82.03481509373037]
  近年,モデルに基づく強化学習アルゴリズムは視覚入力環境において顕著な有効性を示している。 本稿では,強力なモデリングと生成機能を組み合わせた効率的な世界モデルアーキテクチャであるTransformer-based wORld Model (STORM)を紹介する。 Stormは、Atari 100$kベンチマークで平均126.7%の人的パフォーマンスを達成し、最先端のメソッドの中で新しい記録を樹立した。
  論文  参考訳（メタデータ） (2023-10-14T16:42:02Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• READ: Recurrent Adaptation of Large Transformers [7.982905666062059]
  モデルサイズとタスク数が増加するにつれて、微調整の大規模トランスフォーマーは実用的ではない。 textbfREcurrent textbfADaption (READ) を導入する。
  論文  参考訳（メタデータ） (2023-05-24T16:59:41Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Learning to Grow Pretrained Models for Efficient Transformer Training [72.20676008625641]
  そこでは、より小さなモデルのパラメータを線形にマッピングして、より大きなモデルを初期化する。 言語と視覚のトランスフォーマーをまたいだ実験では、学習した線形成長演算子(LiGO)が、スクラッチから最大50%の計算コストを節約できることが示されています。
  論文  参考訳（メタデータ） (2023-03-02T05:21:18Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers [94.43313684188819]
  本研究では,計算によって制限されたNLPタスクのトランスフォーマーモデルに着目し,モデルサイズの影響について検討する。 まず最初に、より小さなTransformerモデルがイテレーション毎に高速に実行されているにもかかわらず、より広いモデルとより深いモデルがはるかに少ないステップで収束していることを示します。 これは、大きなTransformerモデルのトレーニング効率と小さなTransformerモデルの推論効率との間に明らかなトレードオフをもたらす。
  論文  参考訳（メタデータ） (2020-02-26T21:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。