Fugu-MT 論文翻訳(概要): Bag of Tricks for Optimizing Transformer Efficiency

論文の概要: Bag of Tricks for Optimizing Transformer Efficiency

arxiv url: http://arxiv.org/abs/2109.04030v1
Date: Thu, 9 Sep 2021 04:43:44 GMT
ステータス: 処理完了
システム内更新日: 2021-09-10 14:09:42.609136
Title: Bag of Tricks for Optimizing Transformer Efficiency
Title（参考訳）: 変圧器効率最適化のためのトリックの袋
Authors: Ye Lin, Yanyang Li, Tong Xiao, Jingbo Zhu
Abstract要約: 単純かつハードウェアに依存しない手法を組み合わせることで,Transformerの効率を向上できることを示す。 WMTニュース翻訳タスクでは、強力なトランスフォーマーシステムの推論効率をCPUでは3.80倍、GPUでは2.52倍改善する。
参考スコア（独自算出の注目度）: 28.69063626015749
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Improving Transformer efficiency has become increasingly attractive recently. A wide range of methods has been proposed, e.g., pruning, quantization, new architectures and etc. But these methods are either sophisticated in implementation or dependent on hardware. In this paper, we show that the efficiency of Transformer can be improved by combining some simple and hardware-agnostic methods, including tuning hyper-parameters, better design choices and training strategies. On the WMT news translation tasks, we improve the inference efficiency of a strong Transformer system by 3.80X on CPU and 2.52X on GPU. The code is publicly available at https://github.com/Lollipop321/mini-decoder-network.
Abstract（参考訳）: 近年、変圧器の効率向上が注目されている。プルーニング、量子化、新しいアーキテクチャなど、幅広い手法が提案されている。しかし、これらの手法は実装が洗練されているか、ハードウェアに依存している。本稿では,超パラメータのチューニング,設計選択の改善,トレーニング戦略など,シンプルでハードウェアに依存しない手法を組み合わせることで,Transformerの効率を向上できることを示す。 WMTニュース翻訳タスクでは、強力なトランスフォーマーシステムの推論効率をCPUでは3.80倍、GPUでは2.52倍改善する。コードはhttps://github.com/lollipop321/mini-decoder-networkで公開されている。

関連論文リスト

Co-Designing Binarized Transformer and Hardware Accelerator for Efficient End-to-End Edge Deployment [3.391499691517567]
トランスフォーマーモデルはAIタスクに革命をもたらしたが、その大きなサイズはリソース制約やレイテンシクリティカルなエッジデバイスへの実際のデプロイメントを妨げる。本稿では, アルゴリズム, ハードウェア, 共同最適化の3つの側面から, トランスフォーマーのエンドツーエンド配置を効率的に行うための設計手法を提案する。実験の結果,2.14-49.37倍のスループット向上と3.72-88.53倍のエネルギー効率を実現した。
論文参考訳（メタデータ） (2024-07-16T12:36:10Z)
Improving Gradient Methods via Coordinate Transformations: Applications to Quantum Machine Learning [0.0]
機械学習アルゴリズムは勾配降下などの勾配に基づく最適化アルゴリズムに大きく依存している。全体的な性能は、局所的なミニマと不毛の高原の出現に依存する。本稿では,これらの手法の全般的な性能向上を図り,バレンプラトー効果と局所ミニマ効果を緩和する汎用戦略を提案する。
論文参考訳（メタデータ） (2023-04-13T18:26:05Z)
Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
論文参考訳（メタデータ） (2023-02-27T18:18:13Z)
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文参考訳（メタデータ） (2021-06-23T17:51:26Z)
Easy and Efficient Transformer : Scalable Inference Solution For large NLP mode [14.321889138798072]
本稿では,超大規模事前学習モデル最適化手法を提案する。推論エンジンとして Easy and Efficient Transformer (EET) が提案されている。 EETは、コンテキストの長さに応じて1.5-15倍のスピードアップを達成します。
論文参考訳（メタデータ） (2021-04-26T11:00:56Z)
Finetuning Pretrained Transformers into RNNs [81.72974646901136]
トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。線形複雑リカレント変種は自己回帰生成に適していることが証明されている。この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
論文参考訳（メタデータ） (2021-03-24T10:50:43Z)
Shortformer: Better Language Modeling using Shorter Inputs [62.51758040848735]
当初、モデルを短いサブシーケンスでトレーニングした後、長いサブシーケンスに移行する前に、どちらもトレーニング時間を短縮することを示す。次に, 変圧器における再帰法の効率を改善する方法を示す。
論文参考訳（メタデータ） (2020-12-31T18:52:59Z)
TurboTransformers: An Efficient GPU Serving System For Transformer Models [17.4637724940437]
TurboTransformersシステムは、コンピューティングランタイムとサービスフレームワークで構成されている。 GPUベースのバッチ削減操作に対して,効率的な並列アルゴリズムを提案する。メモリ割り当てアルゴリズムは可変長入力状況向けに設計されている。新しいバッチスケジューラを備えたサービスフレームワークは、可変長要求に対して最適なスループットを実現する。
論文参考訳（メタデータ） (2020-10-09T07:28:38Z)
Data Movement Is All You Need: A Case Study on Optimizing Transformers [16.62346773613343]
本稿では,トランスにおけるデータ移動をグローバルに最適化するためのレシピを提案する。データ移動を最大22.91%削減し、最先端のフレームワークよりも1.30倍のパフォーマンス向上を実現しています。
論文参考訳（メタデータ） (2020-06-30T19:26:36Z)
The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
論文参考訳（メタデータ） (2020-05-05T23:32:01Z)
Transformer on a Diet [81.09119185568296]
トランスフォーマーは、効率よくシーケンス情報をキャプチャできる能力のおかげで、広く使われている。 BERT や GPT-2 のような最近の開発は、有効性を重視した重いアーキテクチャしか提供していない。計算量が少ないトランスフォーマーが競合する結果をもたらすかどうかを調べるために, 慎重に設計された3つの光トランスフォーマーアーキテクチャを探索する。
論文参考訳（メタデータ） (2020-02-14T18:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。