論文の概要: ConSmax: Hardware-Friendly Alternative Softmax with Learnable Parameters
- arxiv url: http://arxiv.org/abs/2402.10930v2
- Date: Tue, 20 Feb 2024 09:52:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 19:01:01.493095
- Title: ConSmax: Hardware-Friendly Alternative Softmax with Learnable Parameters
- Title（参考訳）: ConSmax: 学習可能なパラメータを持つハードウェアフレンドリーな代替ソフトマックス
- Authors: Shiwei Liu, Guanchen Tao, Yifei Zou, Derek Chow, Zichen Fan, Kauna
Lei, Bangfei Pan, Dennis Sylvester, Gregory Kielian, and Mehdi Saligane
- Abstract要約: 自己アテンションメカニズムは、畳み込みと反復するニューラルネットワークとは別に、トランスフォーマーベースの大規模言語モデル(LLM)を設定する。
シリコン上でのリアルタイムLEM推定は、自己注意において広く使用されるSoftmaxのために困難である。
我々は,ソフトウェアハードウェアの共同設計であるConstant Softmax(ConSmax)を,効率的なSoftmax代替案として提案する。
- 参考スコア（独自算出の注目度）: 14.029865087214436
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The self-attention mechanism sets transformer-based large language model
(LLM) apart from the convolutional and recurrent neural networks. Despite the
performance improvement, achieving real-time LLM inference on silicon is
challenging due to the extensively used Softmax in self-attention. Apart from
the non-linearity, the low arithmetic intensity greatly reduces the processing
parallelism, which becomes the bottleneck especially when dealing with a longer
context. To address this challenge, we propose Constant Softmax (ConSmax), a
software-hardware co-design as an efficient Softmax alternative. ConSmax
employs differentiable normalization parameters to remove the maximum searching
and denominator summation in Softmax. It allows for massive parallelization
while performing the critical tasks of Softmax. In addition, a scalable ConSmax
hardware utilizing a bitwidth-split look-up table (LUT) can produce lossless
non-linear operation and support mix-precision computing. It further
facilitates efficient LLM inference. Experimental results show that ConSmax
achieves a minuscule power consumption of 0.43 mW and area of 0.001 mm2 at
1-GHz working frequency and 22-nm CMOS technology. Compared to state-of-the-art
Softmax hardware, ConSmax results in 14.5x energy and 14.0x area savings with a
comparable accuracy on a GPT-2 model and the WikiText103 dataset.
- Abstract（参考訳）: 自己アテンションメカニズムは、畳み込みと反復するニューラルネットワークとは別に、トランスフォーマーベースの大言語モデル(LLM)を設定する。
性能改善にもかかわらず、シリコン上でリアルタイムのllm推論を達成することは、セルフアテンションで広く使われるソフトマックスのため難しい。
非線形性とは別に、低算術強度は処理並列性を大幅に削減し、特に長い文脈を扱う場合にボトルネックとなる。
そこで本研究では,ソフトマックス代替案としてソフトウェアハードウエアの共同設計であるconstant softmax (consmax)を提案する。
consmaxは、softmaxの最大探索と分母和を取り除くために微分可能な正規化パラメータを用いる。
これはSoftmaxの重要なタスクを実行しながら、大規模な並列化を可能にする。
さらに、ビット幅分割ルックアップテーブル(LUT)を利用したスケーラブルなConSmaxハードウェアは、損失のない非線形演算を生成し、ミックス精度コンピューティングをサポートする。
さらに効率的なLLM推論を容易にする。
実験の結果, ConSmaxは1GHz動作周波数0.43mW, 面積0.001mm2, 22nmCMOS技術を実現している。
最先端のSoftmaxハードウェアと比較して、ConSmaxはGPT-2モデルとWikiText103データセットに匹敵する精度で14.5倍エネルギーと14.0倍の省エネを実現している。
関連論文リスト
- MultiMax: Sparse and Multi-Modal Attention Learning [60.49318008131978]
SoftMaxは現代の機械学習アルゴリズムのユビキタスな成分である。
分散性はSoftMaxの変種族によって達成できるが、それらはしばしば代替損失関数を必要とし、多重モダリティを保たない。
入力入力範囲に応じて出力分布を適応的に変調するMultiMaxを提案する。
論文 参考訳（メタデータ） (2024-06-03T10:51:43Z) - r-softmax: Generalized Softmax with Controllable Sparsity Rate [11.39524236962986]
本稿では,ソフトマックスの修正であるr-softmaxを提案し,スパース確率分布を制御可能なスペーサ率で出力する。
我々は、r-softmaxが他のソフトマックス代替品よりも優れており、元のソフトマックスと高い競争力を持つ複数のマルチラベルデータセットを示す。
論文 参考訳（メタデータ） (2023-04-11T14:28:29Z) - Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。
既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。
そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
論文 参考訳（メタデータ） (2023-02-03T02:57:18Z) - Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。
既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。
我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文 参考訳（メタデータ） (2022-07-05T03:08:27Z) - SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。
線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。
これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。
ソフトマックスフリー変圧器(SOFT)を初めて提案する。
論文 参考訳（メタデータ） (2021-10-22T17:57:29Z) - Breaking the Softmax Bottleneck for Sequential Recommender Systems with
Dropout and Decoupling [0.0]
SBRSのSoftmaxボトルネックには、さらに多くの側面があることが示されています。
そこで本研究では,これらの問題を緩和するために,D&D(Dropout and Decoupling)というシンプルな手法を提案する。
本手法は,様々なSoftmaxベースのSBRSアルゴリズムの精度を大幅に向上させる。
論文 参考訳（メタデータ） (2021-10-11T16:52:23Z) - Exploring Alternatives to Softmax Function [0.5924831288313849]
ソフトマックス関数の代替としてテイラー・ソフトマックス, SM-ソフトマックス, 提案したSM-テイラー・ソフトマックスについて検討した。
異なるデータセット上の画像分類タスクに対する実験により、通常のソフトマックス関数よりも優れたSM-テイラーソフトマックス関数の構成が常に存在することが明らかとなった。
論文 参考訳（メタデータ） (2020-11-23T16:50:18Z) - Effectiveness of MPC-friendly Softmax Replacement [13.710300609457267]
我々は、ソフトマックス置換の2つの用途を分析し、ソフトマックスと比較する。
置換は1層ネットワークにおいて重要なスピードアップしか提供しないのに対して、常に精度を低下させ、時には著しく低下することがわかった。
論文 参考訳（メタデータ） (2020-11-23T04:14:32Z) - Optimal Approximation -- Smoothness Tradeoffs for Soft-Max Functions [73.33961743410876]
ソフトマックス関数は近似と滑らかさの2つの主要な効率尺度を持つ。
近似と滑らか性の異なる尺度に対する最適近似-滑らか性トレードオフを同定する。
これにより、新しいソフトマックス関数が生まれ、それぞれ異なる用途に最適である。
論文 参考訳（メタデータ） (2020-10-22T05:19:58Z) - Taming GANs with Lookahead-Minmax [63.90038365274479]
MNIST, SVHN, CIFAR-10, ImageNetによる実験結果から, Lookahead-minmaxとAdam, Exgradientの併用が明らかとなった。
30倍のパラメータと16倍のミニバッチを使用して、クラスラベルを使わずに12.19のFIDを得ることにより、CIFAR-10上でクラス依存のBigGANのパフォーマンスを上回ります。
論文 参考訳（メタデータ） (2020-06-25T17:13:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。