論文の概要: Fast Inner-Product Algorithms and Architectures for Deep Neural Network
Accelerators
- arxiv url: http://arxiv.org/abs/2311.12224v1
- Date: Mon, 20 Nov 2023 22:37:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 02:44:04.658295
- Title: Fast Inner-Product Algorithms and Architectures for Deep Neural Network
Accelerators
- Title(参考訳): ディープニューラルネットワーク加速器のための高速内積アルゴリズムとアーキテクチャ
- Authors: Trevor E. Pogue, Nicola Nicolici
- Abstract要約: 本稿では,FFIP(Free-pipeline Fast Inner Product)と呼ばれる新しいアルゴリズムとそのハードウェアアーキテクチャを紹介する。
FIPは、主に行列乗算に分解できるすべての機械学習(ML)モデル層に適用できる。
FFIPは従来の固定点シストリックアレーMLアクセラレーターにシームレスに組み込むことができることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new algorithm called the Free-pipeline Fast Inner Product
(FFIP) and its hardware architecture that improve an under-explored fast
inner-product algorithm (FIP) proposed by Winograd in 1968. Unlike the
unrelated Winograd minimal filtering algorithms for convolutional layers, FIP
is applicable to all machine learning (ML) model layers that can mainly
decompose to matrix multiplication, including fully-connected, convolutional,
recurrent, and attention/transformer layers. We implement FIP for the first
time in an ML accelerator then present our FFIP algorithm and generalized
architecture which inherently improve FIP's clock frequency and, as a
consequence, throughput for a similar hardware cost. Finally, we contribute
ML-specific optimizations for the FIP and FFIP algorithms and architectures. We
show that FFIP can be seamlessly incorporated into traditional fixed-point
systolic array ML accelerators to achieve the same throughput with half the
number of multiply-accumulate (MAC) units, or it can double the maximum
systolic array size that can fit onto devices with a fixed hardware budget. Our
FFIP implementation for non-sparse ML models with 8 to 16-bit fixed-point
inputs achieves higher throughput and compute efficiency than the best-in-class
prior solutions on the same type of compute platform.
- Abstract(参考訳): 我々は、1968年にウィノグラードが提案したFIP(Free-pipeline Fast Inner Product)と呼ばれる新しいアルゴリズムとそのハードウェアアーキテクチャを導入する。
畳み込み層に対する無関係なウィノグラード最小フィルタリングアルゴリズムとは異なり、fipは、完全連結、畳み込み、リカレント、注意/変換層を含むマトリックス乗算に主に分解できるすべての機械学習(ml)モデル層に適用できる。
MLアクセラレータで初めてFIPを実装し、FFIPアルゴリズムと一般化アーキテクチャを提示し、FIPのクロック周波数を本質的に改善し、結果として、同様のハードウェアコストのスループットを向上する。
最後に、FIPおよびFFIPアルゴリズムおよびアーキテクチャに対するML固有の最適化に貢献する。
FFIPは従来の固定点列MLアクセラレーターにシームレスに組み込むことができ、乗算累積(MAC)ユニットの半数のスループットで同じスループットを達成することができるか、固定ハードウェア予算でデバイスに収まる最大シストリック配列サイズを2倍にすることができることを示す。
8ビットから16ビットの固定点入力を持つ非スパースMLモデルに対するFFIP実装は、同じタイプの計算プラットフォーム上でのクラス内最良解よりも高いスループットと計算効率を実現する。
関連論文リスト
- Accelerating Machine Learning Primitives on Commodity Hardware [0.0]
本稿では,Deep Neural Networks (DNN) における一般行列乗算 (GEMM) に基づく畳み込みよりも効率的な代替手段として,スライディングウィンドウ畳み込み手法について広範な研究を行う。
この結果から,Sliding Window 計算カーネルは CPU 上でも専用ハードウェアアクセラレータ上でも GEMM ベースの畳み込みよりも優れていることが示唆された。
これにより、特別なハードウェアを必要とせずに、低消費電力および低メモリデバイスにAIが広く採用される可能性がある。
論文 参考訳(メタデータ) (2023-10-08T16:26:18Z) - Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and
Algorithm Co-design [66.39546326221176]
多くのAIタスクにおいて、注意に基づくニューラルネットワークが普及している。
注意機構とフィードフォワードネットワーク(FFN)の使用は、過剰な計算とメモリ資源を必要とする。
本稿では,注目機構とFFNの両方を近似するために,バタフライの分散パターンを統一したハードウェアフレンドリーな変種を提案する。
論文 参考訳(メタデータ) (2022-09-20T09:28:26Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳(メタデータ) (2022-03-24T07:26:29Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳(メタデータ) (2022-03-03T03:46:18Z) - In-filter Computing For Designing Ultra-light Acoustic Pattern
Recognizers [6.335302509003343]
超軽量音響分類器の設計に使用できる新しいインフィルタ・コンピューティング・フレームワークを提案する。
提案したアーキテクチャは、コンボリューションと非線形フィルタリングの操作を直接サポートベクトルマシンのカーネルに統合する。
本研究では,1.5k Look-Up Tables (LUT) と2.8k Flip-Flops (FF) のみを用いて,ベンチマーク音声認識タスクにおいてロバストな分類性能が得られることを示す。
論文 参考訳(メタデータ) (2021-09-11T08:16:53Z) - A fully pipelined FPGA accelerator for scale invariant feature transform
keypoint descriptor matching, [0.0]
SIFTキーポイント記述子マッチングのための完全パイプラインハードウェアアクセラレータアーキテクチャを設計する。
提案するハードウェアアーキテクチャは、完全にパイプライン化された実装に必要なメモリ帯域を適切に処理することができる。
私たちのハードウェア実装は、同等のソフトウェアアプローチの15.7倍高速です。
論文 参考訳(メタデータ) (2020-12-17T15:29:41Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳(メタデータ) (2020-11-14T09:51:51Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳(メタデータ) (2020-06-15T02:57:57Z) - Minimal Filtering Algorithms for Convolutional Neural Networks [82.24592140096622]
我々は,M=3,5,7,9,11の基本的なフィルタリング操作を実装するための完全並列ハードウェア指向アルゴリズムを開発した。
各ケースにおける提案アルゴリズムの完全な並列ハードウェア実装は、組込み乗算器の数を約30%削減する。
論文 参考訳(メタデータ) (2020-04-12T13:18:25Z) - SPEC2: SPECtral SParsE CNN Accelerator on FPGAs [31.31419913907224]
我々は、スペクトルCNNを練習し、加速する最初の研究であるSPEC2を提案する。
スパースカーネルへの効率的なランダムアクセスが可能なFPGA上に最適化されたパイプラインアーキテクチャを設計する。
得られたアクセラレータは、VGG16の最先端FPGA実装と比較して最大24倍のスループットを実現している。
論文 参考訳(メタデータ) (2019-10-16T23:30:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。