論文の概要: Toward matrix multiplication for deep learning inference on the Xilinx
Versal
- arxiv url: http://arxiv.org/abs/2302.07594v1
- Date: Wed, 15 Feb 2023 11:26:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-16 15:15:47.550620
- Title: Toward matrix multiplication for deep learning inference on the Xilinx
Versal
- Title(参考訳): Xilinx Versal上でのディープラーニング推論のための行列乗算に向けて
- Authors: Jie Lei, Jos\'e Flich, Enrique S. Quintana-Ort\'i
- Abstract要約: Xilinx Versal VCK190上でのGEMMカーネルのプロトタイプ実装による実験結果は、理論的なピークの86.7%近くのパフォーマンスを提供する。
特に,Xilinx Versal VCK190上でGEMMカーネルのプロトタイプ実装により,理論ピークの86.7%に近い性能を実現した。
- 参考スコア(独自算出の注目度): 22.553939667954552
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The remarkable positive impact of Deep Neural Networks on many Artificial
Intelligence (AI) tasks has led to the development of various high performance
algorithms as well as specialized processors and accelerators. In this paper we
address this scenario by demonstrating that the principles underlying the
modern realization of the general matrix multiplication (GEMM) in conventional
processor architectures, are also valid to achieve high performance for the
type of operations that arise in deep learning (DL) on an exotic accelerator
such as the AI Engine (AIE) tile embedded in Xilinx Versal platforms. In
particular, our experimental results with a prototype implementation of the
GEMM kernel, on a Xilinx Versal VCK190, delivers performance close to 86.7% of
the theoretical peak that can be expected on an AIE tile, for 16-bit integer
operands.
- Abstract(参考訳): ディープニューラルネットワークの多くの人工知能(AI)タスクに対する顕著なポジティブな影響は、様々な高性能アルゴリズムや特別なプロセッサやアクセラレータの開発につながった。
本稿では,従来のプロセッサアーキテクチャにおける汎用行列乗法(GEMM)の現代的実現の基礎となる原理が,Xilinx Versalプラットフォームに埋め込まれたAIエンジン(AIE)タイルのようなエキゾチックなアクセラレータ上での深層学習(DL)で発生する演算のタイプに対して,高い性能を実現する上でも有効であることを示す。
特に、Xilinx Versal VCK190上のGEMMカーネルのプロトタイプ実装による実験結果により、AIEタイル上で期待できる理論ピークの86.7%に近い性能を16ビット整数オペランドに対して提供する。
関連論文リスト
- FPGA-QHAR: Throughput-Optimized for Quantized Human Action Recognition
on The Edge [0.6254873489691849]
本稿では,8ビット量子化された2ストリームSimpleNet-PyTorch CNNアーキテクチャに基づく,エンドツーエンドHAR拡張型HW/SWアクセラレータの共設計を提案する。
私たちの開発では、部分的にストリーミングデータフローアーキテクチャを使用して、ネットワーク設計やリソース利用のトレードオフよりも高いスループットを実現しています。
提案手法は,ZCU104上の187MHzで約24FPSのリアルタイム推論スループットを用いて,約81%の予測精度を達成した。
論文 参考訳(メタデータ) (2023-11-04T10:38:21Z) - Exploiting On-chip Heterogeneity of Versal Architecture for GNN
Inference Acceleration [0.5249805590164902]
グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク分析やバイオインフォマティクスなど、多くの機械学習(ML)アプリケーションに革命をもたらした。
我々は,AMD Versal ACAPアーキテクチャの不均一な計算能力を活用し,GNN推論を高速化する。
グラフ畳み込みネットワーク(GCN)では,同一のACAPデバイス上でのみPLを用いた設計と比較して3.9-96.7倍の高速化を実現している。
論文 参考訳(メタデータ) (2023-08-04T23:57:55Z) - Towards a learning-based performance modeling for accelerating Deep
Neural Networks [1.1549572298362785]
我々は、畳み込みニューラルネットワーク(CNN)を最適化するために、機械学習技術に基づく予測モデルの調査を開始する。
MidgardベースのARM Mali GPUの予備実験では、我々の予測モデルはライブラリが手作業で選択したすべての畳み込み演算子よりも優れていた。
論文 参考訳(メタデータ) (2022-12-09T18:28:07Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Large Scale Mask Optimization Via Convolutional Fourier Neural Operator
and Litho-Guided Self Training [54.16367467777526]
マスクタスクを効率的に学習できる畳み込みニューラルネットワーク(CFCF)を提案する。
機械学習ベースのフレームワークが初めて、最先端の数値マスクデータセットを上回った。
論文 参考訳(メタデータ) (2022-07-08T16:39:31Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - ALF: Autoencoder-based Low-rank Filter-sharing for Efficient
Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。
ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文 参考訳(メタデータ) (2020-07-27T09:01:22Z) - Fully-parallel Convolutional Neural Network Hardware [0.7829352305480285]
本稿では,ハードウェアにArticial Neural Networks(ANN)を実装するための,新しい電力・面積効率アーキテクチャを提案する。
LENET-5として完全に並列なCNNを1つのFPGAに埋め込んでテストするのが初めてである。
論文 参考訳(メタデータ) (2020-06-22T17:19:09Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳(メタデータ) (2020-06-15T02:57:57Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z) - ESSOP: Efficient and Scalable Stochastic Outer Product Architecture for
Deep Learning [1.2019888796331233]
行列ベクトル乗算(MVM)とベクトルベクトル外積(VVOP)は、ディープニューラルネットワーク(DNN)のトレーニングに関連する2つの最も高価な演算である。
DNNの重み更新において,多くの最先端ネットワークで要求される活性化機能を備えたSCに効率的な手法を導入する。
我々のアーキテクチャは、乱数を再使用し、ビットシフトスケーリングによって特定のFP乗算演算を置き換えることで計算コストを削減する。
14nm技術ノードにおけるESSOPのハードウェア設計は、高度にパイプライン化されたFP16乗算器と比較して、ESSOPは82.2%、93.7%エネルギー効率が良いことを示している。
論文 参考訳(メタデータ) (2020-03-25T07:54:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。