Fugu-MT 論文翻訳(概要): LUT-NN: Empower Efficient Neural Network Inference with Centroid Learning and Table Lookup

論文の概要: LUT-NN: Empower Efficient Neural Network Inference with Centroid Learning and Table Lookup

arxiv url: http://arxiv.org/abs/2302.03213v2
Date: Wed, 6 Sep 2023 05:53:44 GMT
ステータス: 処理完了
システム内更新日: 2023-09-07 19:47:17.244179
Title: LUT-NN: Empower Efficient Neural Network Inference with Centroid Learning and Table Lookup
Title（参考訳）: LUT-NN: セントロイド学習とテーブルルックアップによる効率的なニューラルネットワーク推論
Authors: Xiaohu Tang, Yang Wang, Ting Cao, Li Lyna Zhang, Qi Chen, Deng Cai, Yunxin Liu, Mao Yang
Abstract要約: LUT-NNは、Centroidという名前のオペレータの典型的な機能を学び、これらのCentroidの結果を事前に計算して、ルックアップテーブルに保存する。推論中、入力と最も近いセントロイドの結果は、計算なしで近似出力としてテーブルから直接読み取ることができる。関連する研究と比較すると、LUT-NNは精度を66%から92%改善し、オリジナルのモデルと同等のレベルに達した。
参考スコア（独自算出の注目度）: 46.890039109927315
License: http://creativecommons.org/licenses/by/4.0/
Abstract: On-device Deep Neural Network (DNN) inference consumes significant computing resources and development efforts. To alleviate that, we propose LUT-NN, the first system to empower inference by table lookup, to reduce inference cost. LUT-NN learns the typical features for each operator, named centroid, and precompute the results for these centroids to save in lookup tables. During inference, the results of the closest centroids with the inputs can be read directly from the table, as the approximated outputs without computations. LUT-NN integrates two major novel techniques: (1) differentiable centroid learning through backpropagation, which adapts three levels of approximation to minimize the accuracy impact by centroids; (2) table lookup inference execution, which comprehensively considers different levels of parallelism, memory access reduction, and dedicated hardware units for optimal performance. LUT-NN is evaluated on multiple real tasks, covering image and speech recognition, and nature language processing. Compared to related work, LUT-NN improves accuracy by 66% to 92%, achieving similar level with the original models. LUT-NN reduces the cost at all dimensions, including FLOPs ($\leq$ 16x), model size ($\leq$ 7x), latency ($\leq$ 6.8x), memory ($\leq$ 6.5x), and power ($\leq$ 41.7%).
Abstract（参考訳）: オンデバイスディープニューラルネットワーク(DNN)推論は、重要なコンピューティングリソースと開発努力を消費する。そこで本研究では,テーブルルックアップによる推論を支援する最初のシステムであるLUT-NNを提案する。 LUT-NNは、Centroidという名前のオペレータの典型的な機能を学び、これらのCentroidの結果を事前計算してルックアップテーブルに保存する。推論中、入力と最も近いセントロイドの結果は、計算なしで近似出力としてテーブルから直接読み取ることができる。 LUT-NNは,(1)バックプロパゲーションによる微分可能なセントロイド学習,(2)並列性の異なるレベルを包括的に考慮したテーブルルックアップ推論の実行,メモリアクセスの削減,および専用ハードウェアユニットを最適性能のために3段階の近似に適応させる。 LUT-NNは、画像と音声認識、自然言語処理など、複数の実タスクで評価される。関連する研究と比較すると、LUT-NNは精度を66%から92%改善し、オリジナルのモデルと同等のレベルに達した。 lut-nnは、フロップス (\leq$ 16x)、モデルサイズ (\leq$ 7x)、レイテンシ (\leq$ 6.8x)、メモリ (\leq$ 6.5x)、パワー (\leq$ 41.7%) を含む、あらゆる次元のコストを削減している。

関連論文リスト

GhostRNN: Reducing State Redundancy in RNN with Cheap Operations [66.14054138609355]
本稿では,効率的なRNNアーキテクチャであるGhostRNNを提案する。 KWSとSEタスクの実験により、提案されたGhostRNNはメモリ使用量(40%)と計算コストを大幅に削減し、性能は類似している。
論文参考訳（メタデータ） (2024-11-20T11:37:14Z)
Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文参考訳（メタデータ） (2024-01-19T23:48:04Z)
Edge AI as a Service with Coordinated Deep Neural Networks [0.24578723416255746]
CoDEは、個々のモデルからマルチタスクのDNNを作成することで、最高の報酬が得られるパスである最適なパスを見つけることを目的としている。実験により,CoDEは推論スループットを向上し,最先端の既存手法に比べて高精度であることがわかった。
論文参考訳（メタデータ） (2024-01-01T01:54:53Z)
On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文参考訳（メタデータ） (2023-09-26T06:06:47Z)
Multi-Objective Linear Ensembles for Robust and Sparse Training of Few-Bit Neural Networks [5.246498560938275]
BNN(Binarized Neural Networks)とINN(Neural Networks)を併用した,数ビット離散値ニューラルネットワークの事例について検討する。コントリビューションは、可能なクラスごとにひとつのNNをトレーニングし、最終的な出力を予測するために多数決方式を適用する、多目的アンサンブルアプローチである。我々は,このBeMiアプローチを,BNN学習に焦点をあてた問題解決型NNトレーニングと勾配型トレーニングの最先端技術と比較する。
論文参考訳（メタデータ） (2022-12-07T14:23:43Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
An efficient and flexible inference system for serving heterogeneous ensembles of deep neural networks [0.0]
ディープニューラルネットワーク(DNN)のアンサンブルは定性的予測を達成しているが、それらは計算とメモリ集約である。 DNNの柔軟性と効率性を両立させる新しいソフトウェア層を提案する。
論文参考訳（メタデータ） (2022-08-30T08:05:43Z)
iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
論文参考訳（メタデータ） (2021-09-20T20:17:40Z)
Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文参考訳（メタデータ） (2020-12-23T09:33:11Z)
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。