論文の概要: NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix
Operations for Efficient Inference
- arxiv url: http://arxiv.org/abs/2305.14405v3
- Date: Thu, 8 Feb 2024 10:11:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 19:50:56.626379
- Title: NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix
Operations for Efficient Inference
- Title(参考訳): neuralmatrix: 効率的な推論のための線形行列演算によるニューラルネットワーク全体の計算
- Authors: Ruiqi Sun, Siwei Ye, Jie Zhao, Xin He, Yiran Li, An Zou
- Abstract要約: 本稿では,Deep Neural Network(DNN)モデル全体の計算を線形行列演算に変換するフレームワークであるNeuralMatrixを提案する。
提案手法は,汎用性とアプリケーション固有の計算効率を両立させながら,ネットワークの精度を保っている。
- 参考スコア(独自算出の注目度): 20.53515208166353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The inherent diversity of computation types within individual Deep Neural
Network (DNN) models imposes a corresponding need for a varied set of
computation units within hardware processors. This diversity poses a
significant constraint on computation efficiency during the execution of
different neural networks. In this study, we present NeuralMatrix, a framework
that transforms the computation of entire DNNs into linear matrix operations.
This transformation seamlessly enables the execution of various DNN models
using a single General-Purpose Matrix Multiplication (GEMM) accelerator.
Extensive experimental results spanning different DNN models demonstrate that
our approach preserves network accuracy while providing both generality and
application-specific levels of computation efficiency. This allows a broad
spectrum of DNN models to be executed using a single GEMM accelerator,
eliminating the need for additional special function units.
- Abstract(参考訳): 個別のディープニューラルネットワーク(DNN)モデルにおける計算タイプの固有の多様性は、ハードウェアプロセッサ内の様々な計算ユニットを必要とする。
この多様性は、異なるニューラルネットワークの実行中に計算効率に大きな制約をもたらす。
本研究では,DNN全体の計算を線形行列演算に変換するフレームワークであるNeuralMatrixを提案する。
この変換は、GEMM(General-Purpose Matrix Multiplication)アクセラレーターを用いて、様々なDNNモデルをシームレスに実行することができる。
様々なdnnモデルにまたがる広範な実験結果から,本手法はネットワークの精度を保ちつつ,汎用性とアプリケーション固有の計算効率を両立することを示した。
これにより、DNNモデルの幅広いスペクトルを単一のGEMMアクセラレータを使って実行することができ、追加の特別な機能ユニットを必要としない。
関連論文リスト
- Linear Dynamics-embedded Neural Network for Long-Sequence Modeling [6.214987339902511]
我々はLinear Dynamics-embedded Neural Network (LDNN) と呼ばれる新しいニューラルネットワークを提案する。
SSMの連続的、離散的、畳み込み的特性により、LDNNはパラメータがほとんどなく、フレキシブルな推論が可能である。
2つの効率的な戦略は、畳み込みの時間的複雑さを$O(LNHmaxL, N)$から$O(LNmax H, log L)$に減少させる。
論文 参考訳(メタデータ) (2024-02-23T12:36:31Z) - Feed-Forward Neural Networks as a Mixed-Integer Program [0.0]
本研究は手書き桁分類モデルを用いた実験を通じて提案手法の訓練と評価に焦点をあてる。
この研究は、トレーニングされたReLU NNの性能を評価し、NNのトレーニングプロセスの強化におけるMIP定式化の有効性に光を当てる。
論文 参考訳(メタデータ) (2024-02-09T02:23:37Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳(メタデータ) (2021-11-29T09:30:06Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳(メタデータ) (2020-08-21T19:03:23Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。
我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文 参考訳(メタデータ) (2020-04-24T14:37:56Z) - Res-CR-Net, a residual network with a novel architecture optimized for
the semantic segmentation of microscopy images [0.5363346028859919]
Res-CR-NetはDeep Neural Network(DNN)の一種で、異なるダイレーションレートの分離可能なアトラス畳み込みの束または畳み込みLSTMを持つ残効ブロックを特徴とする。
各残余ブロックで使用されるフィルタの数とブロック数だけが、様々な顕微鏡画像のネットワークトレーニングを最適化するために修正する必要がある唯一のハイパーパラメータである。
論文 参考訳(メタデータ) (2020-04-14T21:21:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。