Fugu-MT 論文翻訳(概要): DietCNN: Multiplication-free Inference for Quantized CNNs

論文の概要: DietCNN: Multiplication-free Inference for Quantized CNNs

arxiv url: http://arxiv.org/abs/2305.05274v2
Date: Thu, 17 Aug 2023 13:10:41 GMT
ステータス: 処理完了
システム内更新日: 2023-08-21 23:57:47.731157
Title: DietCNN: Multiplication-free Inference for Quantized CNNs
Title（参考訳）: DietCNN: 量子化されたCNNのための乗算不要推論
Authors: Swarnava Dey and Pallab Dasgupta and Partha P Chakrabarti
Abstract要約: 本稿では,CNNにおける乗算をテーブルルックアップで置き換える手法を提案する。単一のアクティベーションコードブックに基づく乗算自由なCNNは、推論あたりのエネルギーの4.7倍、5.6倍、3.5倍の削減を達成できることが示されている。
参考スコア（独自算出の注目度）: 9.295702629926025
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The rising demand for networked embedded systems with machine intelligence has been a catalyst for sustained attempts by the research community to implement Convolutional Neural Networks (CNN) based inferencing on embedded resource-limited devices. Redesigning a CNN by removing costly multiplication operations has already shown promising results in terms of reducing inference energy usage. This paper proposes a new method for replacing multiplications in a CNN by table look-ups. Unlike existing methods that completely modify the CNN operations, the proposed methodology preserves the semantics of the major CNN operations. Conforming to the existing mechanism of the CNN layer operations ensures that the reliability of a standard CNN is preserved. It is shown that the proposed multiplication-free CNN, based on a single activation codebook, can achieve 4.7x, 5.6x, and 3.5x reduction in energy per inference in an FPGA implementation of MNIST-LeNet-5, CIFAR10-VGG-11, and Tiny ImageNet-ResNet-18 respectively. Our results show that the DietCNN approach significantly improves the resource consumption and latency of deep inference for smaller models, often used in embedded systems. Our code is available at: https://github.com/swadeykgp/DietCNN
Abstract（参考訳）: マシンインテリジェンスを備えたネットワーク組み込みシステムの需要増加は、組み込みリソース制限デバイスに基づく推論に基づく畳み込みニューラルネットワーク(CNN)を実装する研究コミュニティによる継続的な試みの触媒となっている。コストのかかる乗算演算を除去してCNNを再設計することは、推論エネルギー使用量の削減という面で既に有望な結果を示している。本稿では,CNNにおける乗算をテーブルルックアップで置き換える手法を提案する。 CNN操作を完全に変更する既存の方法とは異なり、提案手法は主要なCNN操作のセマンティクスを保存する。 CNNレイヤ操作の既存のメカニズムに適合することにより、標準のCNNの信頼性が維持される。 MNIST-LeNet-5, CIFAR10-VGG-11, Tiny ImageNet-ResNet-18のFPGA実装において, 単一のアクティベーションコードブックをベースとした乗算自由CNNは, それぞれ4.7x, 5.6x, 3.5xのエネルギー削減を実現している。以上の結果から,dietcnnアプローチは,組込みシステムでよく使用される小型モデルに対する深い推論のリソース消費と遅延を大幅に改善することが示された。私たちのコードは、https://github.com/swadeykgp/DietCNNで利用可能です。

関連論文リスト

OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
論文参考訳（メタデータ） (2024-03-21T14:06:38Z)
Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
論文参考訳（メタデータ） (2024-01-19T15:19:47Z)
An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks [8.40112153818812]
畳み込みニューラルネットワーク(CNN)は、より複雑なトポロジを導入し、より深くより広いCNNへのキャパシティを拡大することで、長年にわたって、より優れたパフォーマンスを実現してきた。計算コストは依然としてCNNを自動設計するボトルネックである。本稿では, CNNを効率的に進化させるために, トランスファーラーニングにヒントを得て, 新たな進化的計算ベースのフレームワークを提案する。
論文参考訳（メタデータ） (2022-12-07T20:22:58Z)
Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文参考訳（メタデータ） (2022-11-24T18:10:01Z)
AutoDiCE: Fully Automated Distributed CNN Inference at the Edge [0.9883261192383613]
本稿では,CNNモデルのサブモデルへの自動分割のための新しいフレームワークであるAutoDiCEを提案する。実験の結果、AutoDiCEは、エッジデバイス当たりのエネルギー消費とメモリ使用量を減らすことで、分散CNN推論を実現することができることがわかった。
論文参考訳（メタデータ） (2022-07-20T15:08:52Z)
Recursive Least Squares for Training and Pruning Convolutional Neural Networks [27.089496826735672]
畳み込みニューラルネットワーク(CNN)は多くの実用化に成功している。高い計算とストレージ要件により、リソース制約のあるデバイスへのデプロイが困難になる。本稿では,CNNの訓練と刈り取りのための新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-01-13T07:14:08Z)
Exploiting Hybrid Models of Tensor-Train Networks for Spoken Command Recognition [9.262289183808035]
本研究の目的は,低複雑性音声コマンド認識(SCR)システムの設計である。我々は、テンソルトレイン(TT)ネットワークの深いハイブリッドアーキテクチャを利用して、エンドツーエンドのSRCパイプラインを構築する。提案したCNN+(TT-DNN)モデルでは,CNNモデルより4倍少ないモデルパラメータで96.31%の競争精度が得られる。
論文参考訳（メタデータ） (2022-01-11T05:57:38Z)
Continual 3D Convolutional Neural Networks for Real-time Processing of Videos [93.73198973454944]
連続3次元コンテンポラルニューラルネットワーク(Co3D CNN)について紹介する。 Co3D CNNはクリップ・バイ・クリップではなく、フレーム・バイ・フレームで動画を処理する。本研究では,既存の映像認識モデルの重みを初期化したCo3D CNNを用いて,フレームワイズ計算における浮動小数点演算を10.0-12.4倍削減し,Kinetics-400の精度を2.3-3.8倍に向上したことを示す。
論文参考訳（メタデータ） (2021-05-31T18:30:52Z)
BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文参考訳（メタデータ） (2021-03-14T20:43:19Z)
MGIC: Multigrid-in-Channels Neural Network Architectures [8.459177309094688]
本稿では,標準畳み込みニューラルネットワーク(CNN)におけるチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド・イン・チャネル手法を提案する。近年の軽量CNNの成功にともなうCNNの冗長性に対処する。
論文参考訳（メタデータ） (2020-11-17T11:29:10Z)
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。