論文の概要: NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix
Operations for Efficient Inference
- arxiv url: http://arxiv.org/abs/2305.14405v2
- Date: Fri, 6 Oct 2023 13:28:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 12:12:42.828032
- Title: NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix
Operations for Efficient Inference
- Title(参考訳): neuralmatrix: 効率的な推論のための線形行列演算によるニューラルネットワーク全体の計算
- Authors: Ruiqi Sun, Jie Zhao, Xin He, Yiran Li, An Zou
- Abstract要約: 我々は、ディープニューラルネットワーク(DNN)モデル全体の計算を線形行列演算に変換するフレームワークであるNeuralMatrixを紹介する。
個々のネットワークモデルで要求される様々な計算タイプによって引き起こされる制約を克服することにより、このアプローチは両方の一般性を提供する。
- 参考スコア(独自算出の注目度): 22.03105482791844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The inherent diversity of computation types within individual deep neural
network (DNN) models necessitates a corresponding variety of computation units
within hardware processors, leading to a significant constraint on computation
efficiency during neural network execution. In this study, we introduce
NeuralMatrix, a framework that transforms the computation of entire DNNs into
linear matrix operations, effectively enabling their execution with one
general-purpose matrix multiplication (GEMM) accelerator. By surmounting the
constraints posed by the diverse computation types required by individual
network models, this approach provides both generality, allowing a wide range
of DNN models to be executed using a single GEMM accelerator and
application-specific acceleration levels without extra special function units,
which are validated through main stream DNNs and their variant models.
- Abstract(参考訳): 個々のディープニューラルネットワーク(DNN)モデルにおける計算タイプの固有の多様性は、ハードウェアプロセッサ内の対応する様々な計算ユニットを必要とするため、ニューラルネットワーク実行時の計算効率に大きな制約が生じる。
本研究では,DNN全体の計算を線形行列演算に変換するフレームワークであるNeuralMatrixを紹介する。
個別のネットワークモデルで要求される多種多様な計算形式による制約を克服することにより、単一のGEMMアクセラレーターを用いて広範囲のDNNモデルを実行し、特別な機能ユニットを使わずにアプリケーション固有のアクセラレーションレベルを実行し、メインストリームのDNNとその変種モデルを通して検証することができる。
関連論文リスト
- Linear Dynamics-embedded Neural Network for Long-Sequence Modeling [6.214987339902511]
我々はLinear Dynamics-embedded Neural Network (LDNN) と呼ばれる新しいニューラルネットワークを提案する。
SSMの連続的、離散的、畳み込み的特性により、LDNNはパラメータがほとんどなく、フレキシブルな推論が可能である。
2つの効率的な戦略は、畳み込みの時間的複雑さを$O(LNHmaxL, N)$から$O(LNmax H, log L)$に減少させる。
論文 参考訳(メタデータ) (2024-02-23T12:36:31Z) - Feed-Forward Neural Networks as a Mixed-Integer Program [0.0]
本研究は手書き桁分類モデルを用いた実験を通じて提案手法の訓練と評価に焦点をあてる。
この研究は、トレーニングされたReLU NNの性能を評価し、NNのトレーニングプロセスの強化におけるMIP定式化の有効性に光を当てる。
論文 参考訳(メタデータ) (2024-02-09T02:23:37Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳(メタデータ) (2021-11-29T09:30:06Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳(メタデータ) (2020-08-21T19:03:23Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。
我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文 参考訳(メタデータ) (2020-04-24T14:37:56Z) - Res-CR-Net, a residual network with a novel architecture optimized for
the semantic segmentation of microscopy images [0.5363346028859919]
Res-CR-NetはDeep Neural Network(DNN)の一種で、異なるダイレーションレートの分離可能なアトラス畳み込みの束または畳み込みLSTMを持つ残効ブロックを特徴とする。
各残余ブロックで使用されるフィルタの数とブロック数だけが、様々な顕微鏡画像のネットワークトレーニングを最適化するために修正する必要がある唯一のハイパーパラメータである。
論文 参考訳(メタデータ) (2020-04-14T21:21:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。