論文の概要: LUT-NN: Towards Unified Neural Network Inference by Table Lookup

• arxiv url: http://arxiv.org/abs/2302.03213v1
• Date: Tue, 7 Feb 2023 02:51:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 17:48:07.492700
• Title: LUT-NN: Towards Unified Neural Network Inference by Table Lookup
• Title（参考訳）: LUT-NN:テーブルルックアップによる統一ニューラルネットワーク推論を目指して
• Authors: Xiaohu Tang, Yang Wang, Ting Cao, Li Lyna Zhang, Qi Chen, Deng Cai, Yunxin Liu, Mao Yang
• Abstract要約: 我々は,テーブルルックアップによるディープニューラルネットワーク(DNN)推論の強化に向けた最初の試みであるLUT-NNを提案する。 各レイヤの特徴的類似性に基づいて、LUT-NNはトレーニングデータから各レイヤの典型的な特徴であるセントロイド(Centroid)を学習することができる。 LUT-NNは、実際の複雑なデータセット上でオリジナルのモデルと同等の精度(5%の差)を達成する。
• 参考スコア（独自算出の注目度）: 48.25165788449516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: DNN inference requires huge effort of system development and resource cost. This drives us to propose LUT-NN, the first trial towards empowering deep neural network (DNN) inference by table lookup, to eliminate the diverse computation kernels as well as save running cost. Based on the feature similarity of each layer, LUT-NN can learn the typical features, named centroids, of each layer from the training data, precompute them with model weights, and save the results in tables. For future input, the results of the closest centroids with the input features can be directly read from the table, as the approximation of layer output. We propose the novel centroid learning technique for DNN, which enables centroid learning through backpropagation, and adapts three levels of approximation to minimize the model loss. By this technique, LUT-NN achieves comparable accuracy (<5% difference) with original models on real complex dataset, including CIFAR, ImageNet, and GLUE. LUT-NN simplifies the computing operators to only two: closest centroid search and table lookup. We implement them for Intel and ARM CPUs. The model size is reduced by up to 3.5x for CNN models and 7x for BERT. Latency-wise, the real speedup of LUT-NN is up to 7x for BERT and 2x for ResNet, much lower than theoretical results because of the current unfriendly hardware design for table lookup. We expect firstclass table lookup support in the future to unleash the potential of LUT-NN.
• Abstract（参考訳）: DNN推論には、システム開発とリソースコストの膨大な労力が必要です。 これにより、テーブルルックアップによるディープニューラルネットワーク(DNN)推論の強化に向けた最初のトライアルであるLUT-NNを提案し、さまざまな計算カーネルを排除し、実行コストを削減できるようになります。 各層の特徴の類似性に基づいて、lut-nnはトレーニングデータから各層の典型的な特徴であるcentroidsを学習し、それらをモデルウェイトで事前計算し、結果をテーブルに保存することができる。 将来の入力では、入力特徴を持つ最も近いセントロイドの結果を、層出力の近似としてテーブルから直接読み取ることができる。 バックプロパゲーションによるセントロイド学習を可能にするDNNのための新しいセントロイド学習手法を提案し,モデルの損失を最小限に抑えるために3段階の近似を適用した。 この手法により、LUT-NNは、CIFAR、ImageNet、GLUEを含む実際の複雑なデータセット上で、オリジナルのモデルと同等の精度(5%の差)を達成する。 lut-nnは計算演算子を2つに単純化している。 Intel と ARM CPU 向けに実装しています。 モデルサイズはcnnモデルでは最大3.5倍、bertでは7倍削減される。 LUT-NNの実際の高速化はBERTの7倍、ResNetの2倍であり、現在のテーブルルックアップのハードウェア設計のため理論的結果よりもはるかに低い。 将来的には、LUT-NNの可能性を解き放つために、ファーストクラスのテーブルルックアップのサポートを期待しています。

関連論文リスト

• GhostRNN: Reducing State Redundancy in RNN with Cheap Operations [66.14054138609355]
  本稿では,効率的なRNNアーキテクチャであるGhostRNNを提案する。 KWSとSEタスクの実験により、提案されたGhostRNNはメモリ使用量(40%)と計算コストを大幅に削減し、性能は類似している。
  論文  参考訳（メタデータ） (2024-11-20T11:37:14Z)
• Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
  我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。 完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。 予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-19T23:48:04Z)
• Edge AI as a Service with Coordinated Deep Neural Networks [0.24578723416255746]
  CoDEは、個々のモデルからマルチタスクのDNNを作成することで、最高の報酬が得られるパスである最適なパスを見つけることを目的としている。 実験により,CoDEは推論スループットを向上し,最先端の既存手法に比べて高精度であることがわかった。
  論文  参考訳（メタデータ） (2024-01-01T01:54:53Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Multi-Objective Linear Ensembles for Robust and Sparse Training of Few-Bit Neural Networks [5.246498560938275]
  BNN(Binarized Neural Networks)とINN(Neural Networks)を併用した,数ビット離散値ニューラルネットワークの事例について検討する。 コントリビューションは、可能なクラスごとにひとつのNNをトレーニングし、最終的な出力を予測するために多数決方式を適用する、多目的アンサンブルアプローチである。 我々は,このBeMiアプローチを,BNN学習に焦点をあてた問題解決型NNトレーニングと勾配型トレーニングの最先端技術と比較する。
  論文  参考訳（メタデータ） (2022-12-07T14:23:43Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• An efficient and flexible inference system for serving heterogeneous ensembles of deep neural networks [0.0]
  ディープニューラルネットワーク(DNN)のアンサンブルは定性的予測を達成しているが、それらは計算とメモリ集約である。 DNNの柔軟性と効率性を両立させる新しいソフトウェア層を提案する。
  論文  参考訳（メタデータ） (2022-08-30T08:05:43Z)
• iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
  精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
  論文  参考訳（メタデータ） (2021-09-20T20:17:40Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。