論文の概要: TabConv: Low-Computation CNN Inference via Table Lookups
- arxiv url: http://arxiv.org/abs/2404.05872v1
- Date: Mon, 8 Apr 2024 21:09:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 16:37:51.063994
- Title: TabConv: Low-Computation CNN Inference via Table Lookups
- Title（参考訳）: TabConv: テーブルルックアップによる低計算CNN推論
- Authors: Neelesh Gupta, Narayanan Kannan, Pengmiao Zhang, Viktor Prasanna,
- Abstract要約: CNN推論は大量の演算を必要とするため、ハードウェアにデプロイするのにコストがかかる。
本稿では,テーブルベースの畳み込み近似であるTabConvを提案する。
我々は、人気のあるCNN(ResNet-18、ResNet-34、NetworkInNetwork(NIN))に対するアプローチを評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Convolutional Neural Networks (CNNs) have demonstrated remarkable ability throughout the field of computer vision. However, CNN inference requires a large number of arithmetic operations, making them expensive to deploy in hardware. Current approaches alleviate this issue by developing hardware-supported, algorithmic processes to simplify spatial convolution functions. However, these methods still heavily rely on matrix multiplication, leading to significant computational overhead. To bridge the gap between hardware, algorithmic acceleration, and approximate matrix multiplication, we propose TabConv, a novel, table-based approximation for convolution to significantly reduce arithmetic operations during inference. Additionally, we introduce a priority masking technique based on cosine similarity to select layers for table-based approximation, thereby maintaining the model performance. We evaluate our approach on popular CNNs: ResNet-18, ResNet-34, and NetworkInNetwork (NIN). TabConv preserves over 93% of the original model's performance while reducing arithmetic operations by 36.5%, 25.8%, and 99.4% for ResNet-18 on CIFAR-10, CIFAR-100, and MNIST, respectively, 35.6% and 99.3% for ResNet-34 on CIFAR-10 and MNIST, and 98.9% for NIN on MNIST, achieving low-computation inference.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンの分野を通じて顕著な能力を示している。
しかし、CNN推論は大量の演算を必要とするため、ハードウェアにデプロイするのにコストがかかる。
現在のアプローチでは、空間畳み込み関数を単純化するハードウェア支援のアルゴリズムプロセスを開発することでこの問題を緩和している。
しかし、これらの手法は依然として行列乗法に大きく依存しており、計算オーバーヘッドが大きくなった。
ハードウェア,アルゴリズムアクセラレーション,近似行列乗算のギャップを埋めるため,推論中の算術演算を大幅に削減する畳み込みのためのテーブルベースの新しい近似であるTabConvを提案する。
さらに,コサイン類似性に基づく優先度マスキング手法を導入し,モデル性能の維持を図る。
我々は、人気のあるCNN、ResNet-18、ResNet-34、NetworkInNetwork(NIN)に対するアプローチを評価した。
TabConvは算術演算を36.5%、25.8%、99.4%でCIFAR-10、CIFAR-100、MNISTで35.6%、99.3%でCIFAR-10、MNISTでResNet-34、98.9%で減らし、MNISTでNINを98.9%減らした。
関連論文リスト
- Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。
本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。
スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文 参考訳（メタデータ） (2024-04-06T21:33:39Z) - EncodingNet: A Novel Encoding-based MAC Design for Efficient Neural Network Acceleration [7.694043781601237]
符号化に基づく新しいディジタル乗算累積(MAC)設計を提案する。
この新しい設計では、乗算器は単純な論理ゲートで置き換えられ、その結果を広いビット表現で表現する。
乗算関数は単純な論理表現に置き換えられるため、回路の臨界経路はより短くなる。
論文 参考訳（メタデータ） (2024-02-25T09:35:30Z) - RedBit: An End-to-End Flexible Framework for Evaluating the Accuracy of
Quantized CNNs [9.807687918954763]
畳み込みニューラルネットワーク(CNN)は、画像処理、分類、セグメンテーションタスクのためのディープニューラルネットワークの標準クラスとなっている。
RedBitは、透過的で使いやすいインターフェースを提供するオープンソースのフレームワークで、異なるアルゴリズムの有効性をネットワークの精度で評価する。
論文 参考訳（メタデータ） (2023-01-15T21:27:35Z) - MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。
MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。
MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
論文 参考訳（メタデータ） (2022-11-07T04:31:17Z) - MicroNet: Improving Image Recognition with Extremely Low FLOPs [82.54764264255505]
疎結合性と動的アクティベーション関数の2つの要因が,精度向上に有効であることがわかった。
非線形性を改善するために動的シフトマックスと呼ばれる新しい動的アクティベーション関数を提案する。
私たちはMicroNetというネットワークのファミリに到達し、低FLOP体制下での最先端技術に対して大きなパフォーマンス向上を実現しています。
論文 参考訳（メタデータ） (2021-08-12T17:59:41Z) - Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。
異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。
GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文 参考訳（メタデータ） (2021-07-31T08:36:30Z) - Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。
本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文 参考訳（メタデータ） (2021-06-30T03:54:35Z) - MinConvNets: A new class of multiplication-less Neural Networks [1.0323063834827415]
最小のコンパレータ操作で前方伝播の乗算を近似するMinConvNetを紹介します。
特定の制約下で前方伝搬における最小演算で乗算子を置き換えることが可能であることを示す。
また、よく訓練された正確なCNNからの伝達学習を用いて、MinConvNetsの推論中に等価な精度が得られることを示す。
論文 参考訳（メタデータ） (2021-01-23T12:18:52Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Improved Residual Networks for Image and Video Recognition [98.10703825716142]
ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。
ベースライン上での精度と学習収束性を一貫した改善を示す。
提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
論文 参考訳（メタデータ） (2020-04-10T11:09:50Z) - ESSOP: Efficient and Scalable Stochastic Outer Product Architecture for
Deep Learning [1.2019888796331233]
行列ベクトル乗算(MVM)とベクトルベクトル外積(VVOP)は、ディープニューラルネットワーク(DNN)のトレーニングに関連する2つの最も高価な演算である。
DNNの重み更新において,多くの最先端ネットワークで要求される活性化機能を備えたSCに効率的な手法を導入する。
我々のアーキテクチャは、乱数を再使用し、ビットシフトスケーリングによって特定のFP乗算演算を置き換えることで計算コストを削減する。
14nm技術ノードにおけるESSOPのハードウェア設計は、高度にパイプライン化されたFP16乗算器と比較して、ESSOPは82.2%、93.7%エネルギー効率が良いことを示している。
論文 参考訳（メタデータ） (2020-03-25T07:54:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。