論文の概要: NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix
Operations for Efficient Inference
- arxiv url: http://arxiv.org/abs/2305.14405v3
- Date: Thu, 8 Feb 2024 10:11:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 19:50:56.626379
- Title: NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix
Operations for Efficient Inference
- Title（参考訳）: neuralmatrix: 効率的な推論のための線形行列演算によるニューラルネットワーク全体の計算
- Authors: Ruiqi Sun, Siwei Ye, Jie Zhao, Xin He, Yiran Li, An Zou
- Abstract要約: 本稿では,Deep Neural Network(DNN)モデル全体の計算を線形行列演算に変換するフレームワークであるNeuralMatrixを提案する。
提案手法は,汎用性とアプリケーション固有の計算効率を両立させながら,ネットワークの精度を保っている。
- 参考スコア（独自算出の注目度）: 20.53515208166353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The inherent diversity of computation types within individual Deep Neural
Network (DNN) models imposes a corresponding need for a varied set of
computation units within hardware processors. This diversity poses a
significant constraint on computation efficiency during the execution of
different neural networks. In this study, we present NeuralMatrix, a framework
that transforms the computation of entire DNNs into linear matrix operations.
This transformation seamlessly enables the execution of various DNN models
using a single General-Purpose Matrix Multiplication (GEMM) accelerator.
Extensive experimental results spanning different DNN models demonstrate that
our approach preserves network accuracy while providing both generality and
application-specific levels of computation efficiency. This allows a broad
spectrum of DNN models to be executed using a single GEMM accelerator,
eliminating the need for additional special function units.
- Abstract（参考訳）: 個別のディープニューラルネットワーク(DNN)モデルにおける計算タイプの固有の多様性は、ハードウェアプロセッサ内の様々な計算ユニットを必要とする。
この多様性は、異なるニューラルネットワークの実行中に計算効率に大きな制約をもたらす。
本研究では,DNN全体の計算を線形行列演算に変換するフレームワークであるNeuralMatrixを提案する。
この変換は、GEMM(General-Purpose Matrix Multiplication)アクセラレーターを用いて、様々なDNNモデルをシームレスに実行することができる。
様々なdnnモデルにまたがる広範な実験結果から,本手法はネットワークの精度を保ちつつ,汎用性とアプリケーション固有の計算効率を両立することを示した。
これにより、DNNモデルの幅広いスペクトルを単一のGEMMアクセラレータを使って実行することができ、追加の特別な機能ユニットを必要としない。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Training Integer-Only Deep Recurrent Neural Networks [3.1829446824051195]
精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。
本手法は, 層正規化, 注意, アクティベーション関数の適応的片方向線形(PWL)近似をサポートする。
提案手法により,RNNベースの言語モデルでエッジデバイス上で実行可能である。
論文 参考訳（メタデータ） (2022-12-22T15:22:36Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。
当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
論文 参考訳（メタデータ） (2021-09-20T20:17:40Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - An Alternative Practice of Tropical Convolution to Traditional
Convolutional Neural Networks [0.5837881923712392]
トロピカル畳み込みニューラルネットワーク (TCNNs) と呼ばれる新しいタイプのCNNを提案する。
TCNNは、従来の畳み込み層における乗算と加算をそれぞれ加算とmin/max演算に置き換える熱帯畳み込みの上に構築されている。
我々は,MNIST と CIFAR10 の画像データセットにおいて,通常の畳み込み層よりも表現力が高いことを示す。
論文 参考訳（メタデータ） (2021-03-03T00:13:30Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。
エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。
ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文 参考訳（メタデータ） (2020-10-24T05:09:14Z) - Block-term Tensor Neural Networks [29.442026567710435]
ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。
CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
論文 参考訳（メタデータ） (2020-10-10T09:58:43Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。