論文の概要: NeuralMatrix: Moving Entire Neural Networks to General Matrix
Multiplication for Efficient Inference
- arxiv url: http://arxiv.org/abs/2305.14405v1
- Date: Tue, 23 May 2023 12:03:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 00:13:37.434041
- Title: NeuralMatrix: Moving Entire Neural Networks to General Matrix
Multiplication for Efficient Inference
- Title(参考訳): ニューラルネットワーク: 効率的な推論のための一般行列乗算への移行
- Authors: Ruiqi Sun, Jie Zhao, Xin He, Yiran Li, An Zou
- Abstract要約: 本稿では,1つの一般行列乗算(GEMM)アクセラレータ上で,多元性深層ニューラルネットワーク(DNN)の計算を可能にする新しいフレームワークを提案する。
提案手法は、アプリケーション固有の加速レベルを達成しつつASICベースの加速器の特異性制限を克服する。
- 参考スコア(独自算出の注目度): 18.292322602073625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study, we introduce NeuralMatrix, a novel framework that enables the
computation of versatile deep neural networks (DNNs) on a single general matrix
multiplication (GEMM) accelerator. The proposed approach overcomes the
specificity limitations of ASIC-based accelerators while achieving
application-specific acceleration levels compared to general-purpose processors
such as CPUs and GPUs. We address the challenges of mapping both linear and
nonlinear operations in DNN computation to general matrix multiplications and
the impact of using a GEMM accelerator on DNN inference accuracy. Extensive
experiments are conducted on various DNN models from three popular categories
(i.e., CNN, Transformers, and GNN) as illustrative backbone models. Our results
demonstrate that DNNs suffer only up to a 2.02% accuracy loss after being
converted to general matrix multiplication, while achieving 113x to 19.44x
improvements in throughput per power compared to CPUs and GPUs.
- Abstract(参考訳): 本研究では,1つの一般行列乗算(GEMM)アクセラレータ上で,汎用的なディープニューラルネットワーク(DNN)の計算を可能にする新しいフレームワークであるNeuralMatrixを紹介する。
提案手法は、asicベースの加速器の特異性制限を克服し、cpuやgpuのような汎用プロセッサと比較してアプリケーション固有の加速レベルを達成する。
本稿では,DNN計算における線形演算と非線形演算を一般行列乗算にマッピングすることの課題と,GEMM加速器がDNN推定精度に与える影響について述べる。
3つの人気のあるカテゴリ(CNN、Transformers、GNN)の様々なDNNモデルに対して、イラストレーターバックボーンモデルとして大規模な実験を行う。
その結果、DNNは一般的な行列乗算に変換された後、最大で2.02%の精度の損失しか得られず、CPUやGPUと比較して113倍から19.44倍のスループット向上を達成できた。
関連論文リスト
- Linear Dynamics-embedded Neural Network for Long-Sequence Modeling [6.214987339902511]
我々はLinear Dynamics-embedded Neural Network (LDNN) と呼ばれる新しいニューラルネットワークを提案する。
SSMの連続的、離散的、畳み込み的特性により、LDNNはパラメータがほとんどなく、フレキシブルな推論が可能である。
2つの効率的な戦略は、畳み込みの時間的複雑さを$O(LNHmaxL, N)$から$O(LNmax H, log L)$に減少させる。
論文 参考訳(メタデータ) (2024-02-23T12:36:31Z) - Feed-Forward Neural Networks as a Mixed-Integer Program [0.0]
本研究は手書き桁分類モデルを用いた実験を通じて提案手法の訓練と評価に焦点をあてる。
この研究は、トレーニングされたReLU NNの性能を評価し、NNのトレーニングプロセスの強化におけるMIP定式化の有効性に光を当てる。
論文 参考訳(メタデータ) (2024-02-09T02:23:37Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳(メタデータ) (2021-11-29T09:30:06Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳(メタデータ) (2020-08-21T19:03:23Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。
我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文 参考訳(メタデータ) (2020-04-24T14:37:56Z) - Res-CR-Net, a residual network with a novel architecture optimized for
the semantic segmentation of microscopy images [0.5363346028859919]
Res-CR-NetはDeep Neural Network(DNN)の一種で、異なるダイレーションレートの分離可能なアトラス畳み込みの束または畳み込みLSTMを持つ残効ブロックを特徴とする。
各残余ブロックで使用されるフィルタの数とブロック数だけが、様々な顕微鏡画像のネットワークトレーニングを最適化するために修正する必要がある唯一のハイパーパラメータである。
論文 参考訳(メタデータ) (2020-04-14T21:21:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。