論文の概要: Demystifying BERT: Implications for Accelerator Design
- arxiv url: http://arxiv.org/abs/2104.08335v1
- Date: Wed, 14 Apr 2021 01:06:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 19:44:42.825565
- Title: Demystifying BERT: Implications for Accelerator Design
- Title(参考訳): Demystifying BERT: アクセラレータ設計における意味
- Authors: Suchita Pati, Shaizeen Aga, Nuwan Jayasena, Matthew D. Sinclair
- Abstract要約: 私たちは、最も人気のあるNLP転送学習アルゴリズムの1つであるBERTに焦点を当て、アルゴリズムの振る舞いが将来のアクセラレータ設計を導く方法を特定します。
計算集約型BERT計算を特徴づけ、これらの計算をさらに最適化するためのソフトウェアと可能なハードウェアメカニズムについて議論します。
本分析では,BERT系モデルに対するシステム最適化のための全体解を同定する。
- 参考スコア(独自算出の注目度): 4.80595971865854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning in natural language processing (NLP), as realized using
models like BERT (Bi-directional Encoder Representation from Transformer), has
significantly improved language representation with models that can tackle
challenging language problems. Consequently, these applications are driving the
requirements of future systems. Thus, we focus on BERT, one of the most popular
NLP transfer learning algorithms, to identify how its algorithmic behavior can
guide future accelerator design. To this end, we carefully profile BERT
training and identify key algorithmic behaviors which are worthy of attention
in accelerator design.
We observe that while computations which manifest as matrix multiplication
dominate BERT's overall runtime, as in many convolutional neural networks,
memory-intensive computations also feature prominently. We characterize these
computations, which have received little attention so far. Further, we also
identify heterogeneity in compute-intensive BERT computations and discuss
software and possible hardware mechanisms to further optimize these
computations. Finally, we discuss implications of these behaviors as networks
get larger and use distributed training environments, and how techniques such
as micro-batching and mixed-precision training scale. Overall, our analysis
identifies holistic solutions to optimize systems for BERT-like models.
- Abstract(参考訳): BERT (Bi-directional Encoder Representation from Transformer) のようなモデルを用いて実現された自然言語処理(NLP)における伝達学習は、言語問題に対処可能なモデルで言語表現を大幅に改善した。
その結果、これらのアプリケーションは将来のシステムの要件を推し進めている。
そこで我々は,最も人気のあるNLP転送学習アルゴリズムであるBERTに着目し,そのアルゴリズム的振る舞いが将来の加速器設計をどのように導くかを明らかにする。
この目的のために,bertトレーニングを注意深くプロファイリングし,アクセラレーション設計において注目に値する重要なアルゴリズム行動を特定する。
多くの畳み込みニューラルネットワークと同様に、行列の乗算として表される計算がbertのランタイム全体を支配する一方で、メモリ集約計算も顕著である。
これまでにほとんど注目されていないこれらの計算を特徴付ける。
さらに,計算集約BERT計算における不均一性を同定し,これらの計算をさらに最適化するためのソフトウェアとハードウェア機構について議論する。
最後に,ネットワークの大規模化と分散トレーニング環境の利用,マイクロバッチや混合精度トレーニングスケールといった手法の活用について論じる。
本分析では,BERT系モデルのシステム最適化のための全体解を同定する。
関連論文リスト
- Reinforced In-Context Black-Box Optimization [67.02295929937829]
RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。
RIBBOは、複数の動作アルゴリズムとタスクによって生成された最適化履歴を学習するために、表現的なシーケンスモデルを使用している。
提案手法の中心となるのは,履歴の累積的後悔に基づくアルゴリズムの性能を表現するために,後悔から後悔へのトークンで最適化履歴を増大させることである。
論文 参考訳(メタデータ) (2024-02-27T11:32:14Z) - Transfer learning for atomistic simulations using GNNs and kernel mean
embeddings [24.560340485988128]
本稿では, グラフニューラルネットワーク(GNN)を用いて, カーネル平均埋め込みとともに, 化学環境を表現するトランスファー学習アルゴリズムを提案する。
我々は,複雑性を増大させる一連の現実的なデータセットに対して,我々のアプローチを検証し,優れた一般化と伝達可能性性能を示す。
論文 参考訳(メタデータ) (2023-06-02T14:58:16Z) - Binary stochasticity enabled highly efficient neuromorphic deep learning
achieves better-than-software accuracy [17.11946381948498]
ディープラーニングには、フォワーディング信号の高精度処理、バックプロパゲーションエラー、ウェイトのアップデートが必要だ。
ノイズの多いアナログ・メムリスタを人工シナプスとして使用するハードウェアシステムでディープラーニングを実装することは困難である。
本稿では,全ての基本的ニューラルネットワーク操作を修飾する二進学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-25T14:38:36Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Bioinspired Cortex-based Fast Codebook Generation [0.09449650062296822]
脳内の知覚皮質ネットワークにインスパイアされた特徴抽出法を提案する。
バイオインスパイアされた大脳皮質と呼ばれるこのアルゴリズムは、より優れた計算効率を持つストリーミング信号の特徴に収束する。
ここでは、クラスタリングおよびベクトル量子化における大脳皮質モデルの優れた性能を示す。
論文 参考訳(メタデータ) (2022-01-28T18:37:43Z) - A text autoencoder from transformer for fast encoding language
representation [0.0]
本稿では,注目層におけるウィンドウマスキング機構を用いた双方向言語モデルを提案する。
この研究は、BERTのようにランダムマスキングなしで文脈言語表現を計算する。
提案手法は, O($n2$) の他の変圧器モデルと比較して O(n) の複雑性が低いことを示す。
論文 参考訳(メタデータ) (2021-11-04T13:09:10Z) - Towards Structured Dynamic Sparse Pre-Training of BERT [4.567122178196833]
BERT言語モデリングタスクのための、単純で動的で、常にスパースな事前学習手法を開発し、研究する。
粗い粒度のブロック間隔を使用する場合、トレーニングはFLOP効率を保ち、現代のハードウェアアクセラレーター上での効率的な実行を特に有望であることを示す。
論文 参考訳(メタデータ) (2021-08-13T14:54:26Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳(メタデータ) (2020-06-07T15:35:47Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳(メタデータ) (2020-05-04T13:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。