論文の概要: LUT-NN: Empower Efficient Neural Network Inference with Centroid
Learning and Table Lookup
- arxiv url: http://arxiv.org/abs/2302.03213v2
- Date: Wed, 6 Sep 2023 05:53:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 19:47:17.244179
- Title: LUT-NN: Empower Efficient Neural Network Inference with Centroid
Learning and Table Lookup
- Title(参考訳): LUT-NN: セントロイド学習とテーブルルックアップによる効率的なニューラルネットワーク推論
- Authors: Xiaohu Tang, Yang Wang, Ting Cao, Li Lyna Zhang, Qi Chen, Deng Cai,
Yunxin Liu, Mao Yang
- Abstract要約: LUT-NNは、Centroidという名前のオペレータの典型的な機能を学び、これらのCentroidの結果を事前に計算して、ルックアップテーブルに保存する。
推論中、入力と最も近いセントロイドの結果は、計算なしで近似出力としてテーブルから直接読み取ることができる。
関連する研究と比較すると、LUT-NNは精度を66%から92%改善し、オリジナルのモデルと同等のレベルに達した。
- 参考スコア(独自算出の注目度): 46.890039109927315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-device Deep Neural Network (DNN) inference consumes significant computing
resources and development efforts. To alleviate that, we propose LUT-NN, the
first system to empower inference by table lookup, to reduce inference cost.
LUT-NN learns the typical features for each operator, named centroid, and
precompute the results for these centroids to save in lookup tables. During
inference, the results of the closest centroids with the inputs can be read
directly from the table, as the approximated outputs without computations.
LUT-NN integrates two major novel techniques: (1) differentiable centroid
learning through backpropagation, which adapts three levels of approximation to
minimize the accuracy impact by centroids; (2) table lookup inference
execution, which comprehensively considers different levels of parallelism,
memory access reduction, and dedicated hardware units for optimal performance.
LUT-NN is evaluated on multiple real tasks, covering image and speech
recognition, and nature language processing. Compared to related work, LUT-NN
improves accuracy by 66% to 92%, achieving similar level with the original
models. LUT-NN reduces the cost at all dimensions, including FLOPs ($\leq$
16x), model size ($\leq$ 7x), latency ($\leq$ 6.8x), memory ($\leq$ 6.5x), and
power ($\leq$ 41.7%).
- Abstract(参考訳): オンデバイスディープニューラルネットワーク(DNN)推論は、重要なコンピューティングリソースと開発努力を消費する。
そこで本研究では,テーブルルックアップによる推論を支援する最初のシステムであるLUT-NNを提案する。
LUT-NNは、Centroidという名前のオペレータの典型的な機能を学び、これらのCentroidの結果を事前計算してルックアップテーブルに保存する。
推論中、入力と最も近いセントロイドの結果は、計算なしで近似出力としてテーブルから直接読み取ることができる。
LUT-NNは,(1)バックプロパゲーションによる微分可能なセントロイド学習,(2)並列性の異なるレベルを包括的に考慮したテーブルルックアップ推論の実行,メモリアクセスの削減,および専用ハードウェアユニットを最適性能のために3段階の近似に適応させる。
LUT-NNは、画像と音声認識、自然言語処理など、複数の実タスクで評価される。
関連する研究と比較すると、LUT-NNは精度を66%から92%改善し、オリジナルのモデルと同等のレベルに達した。
lut-nnは、フロップス (\leq$ 16x)、モデルサイズ (\leq$ 7x)、レイテンシ (\leq$ 6.8x)、メモリ (\leq$ 6.5x)、パワー (\leq$ 41.7%) を含む、あらゆる次元のコストを削減している。
関連論文リスト
- Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。
完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。
予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-01-19T23:48:04Z) - Coordinated Deep Neural Networks: A Versatile Edge Offloading Algorithm [0.27624021966289597]
エッジ上での協調DNN(textbfCoDE)と呼ばれる新しいアルゴリズムを提案し,DNNサービス間の協調を容易にする。
CoDEは、推論遅延、モデル精度、局所的な計算負荷を反映したコストが最小となる最適経路を見つけることを目的としている。
結果は、ローカルサービス計算のワークロードを75%削減し、精度をわずか2%低下させ、バランスの取れた負荷条件で同じ推論時間を持つことを示した。
論文 参考訳(メタデータ) (2024-01-01T01:54:53Z) - On the Computational Complexity and Formal Hierarchy of Second Order
Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN)
有界時間でチューリング完備な RNN のクラスが存在することを証明している。
また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文 参考訳(メタデータ) (2023-09-26T06:06:47Z) - Towards Better Out-of-Distribution Generalization of Neural Algorithmic
Reasoning Tasks [51.8723187709964]
ニューラルネットワーク推論タスクのOOD一般化について検討する。
目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
論文 参考訳(メタデータ) (2022-11-01T18:33:20Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳(メタデータ) (2022-09-04T06:45:33Z) - An efficient and flexible inference system for serving heterogeneous
ensembles of deep neural networks [0.0]
ディープニューラルネットワーク(DNN)のアンサンブルは定性的予測を達成しているが、それらは計算とメモリ集約である。
DNNの柔軟性と効率性を両立させる新しいソフトウェア層を提案する。
論文 参考訳(メタデータ) (2022-08-30T08:05:43Z) - Elastic-Link for Binarized Neural Network [9.83865304744923]
ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。
ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。
ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
論文 参考訳(メタデータ) (2021-12-19T13:49:29Z) - iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。
当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
論文 参考訳(メタデータ) (2021-09-20T20:17:40Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳(メタデータ) (2020-12-23T09:33:11Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳(メタデータ) (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。