Fugu-MT 論文翻訳(概要): The Effects of Approximate Multiplication on Convolutional Neural Networks

論文の概要: The Effects of Approximate Multiplication on Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2007.10500v2
Date: Sat, 9 Jan 2021 17:06:41 GMT
ステータス: 処理完了
システム内更新日: 2022-11-08 13:32:01.960985
Title: The Effects of Approximate Multiplication on Convolutional Neural Networks
Title（参考訳）: 畳み込みニューラルネットワークにおける近似乗算の効果
Authors: Min Soo Kim, Alberto A. Del Barrio, HyunJin Kim, Nader Bagherzadeh
Abstract要約: 本稿では,深部畳み込みニューラルネットワーク(CNN)における近似乗法の効果を解析する。この近似乗算により、ハードウェアアクセラレーターにおいてCNN推論をより効率的に行えるように、基盤回路のコストを削減できる。
参考スコア（独自算出の注目度）: 5.754607410217063
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper analyzes the effects of approximate multiplication when performing inferences on deep convolutional neural networks (CNNs). The approximate multiplication can reduce the cost of the underlying circuits so that CNN inferences can be performed more efficiently in hardware accelerators. The study identifies the critical factors in the convolution, fully-connected, and batch normalization layers that allow more accurate CNN predictions despite the errors from approximate multiplication. The same factors also provide an arithmetic explanation of why bfloat16 multiplication performs well on CNNs. The experiments are performed with recognized network architectures to show that the approximate multipliers can produce predictions that are nearly as accurate as the FP32 references, without additional training. For example, the ResNet and Inception-v4 models with Mitch-$w$6 multiplication produces Top-5 errors that are within 0.2% compared to the FP32 references. A brief cost comparison of Mitch-$w$6 against bfloat16 is presented, where a MAC operation saves up to 80% of energy compared to the bfloat16 arithmetic. The most far-reaching contribution of this paper is the analytical justification that multiplications can be approximated while additions need to be exact in CNN MAC operations.
Abstract（参考訳）: 本稿では,深部畳み込みニューラルネットワーク(CNN)の推論における近似乗法の効果を解析する。この近似乗算により、ハードウェアアクセラレーターにおいてCNN推論をより効率的に行えるように、基盤回路のコストを削減できる。本研究は,畳み込み層,完全連結層,バッチ正規化層において,近似乗算による誤差にもかかわらず,より正確なcnn予測を可能にする重要な要因を明らかにする。同じ要因は、bfloat16の乗算がcnnでうまく機能する理由の算術的説明にもなっている。実験は認識されたネットワークアーキテクチャを用いて行われ、近似乗算器が追加のトレーニングなしでFP32参照とほぼ同じ精度の予測を生成できることを示す。例えば、Mitch-$w$6の乗算を持つResNetとInception-v4モデルは、FP32参照と比較して0.2%以内のTop-5エラーを生成する。 Mitch-$w$6のbfloat16に対する短いコスト比較を行い、MAC演算はbfloat16算術と比較して最大80%のエネルギーを節約する。この論文の最も大きな貢献は、乗法を近似できるという解析的正当化であり、cnn mac操作では加法が正確である必要がある。

関連論文リスト

Don't Think It Twice: Exploit Shift Invariance for Efficient Online Streaming Inference of CNNs [3.329222353111594]
本稿では,オンラインストリーミング推論のための畳み込みニューラルネットワークの展開戦略であるStreamiNNCを紹介する。ストリーミング推論の精度に対するゼロパディングとプールの悪影響について検討する。シミュレーションデータと実世界の3つのバイオメディカル信号処理アプリケーションを用いて本手法の有効性を検証する。
論文参考訳（メタデータ） (2024-08-06T14:36:29Z)
ApproxDARTS: Differentiable Neural Architecture Search with Approximate Multipliers [0.24578723416255746]
本稿では、DARTSと呼ばれる一般的な微分可能なニューラルアーキテクチャ探索手法を応用し、近似乗算器を活用可能なニューラルアーキテクチャ探索(NAS)手法であるApproxDARTSを提案する。 ApproxDARTSは10ドル未満のGPU時間で完全なアーキテクチャ検索を実行でき、畳み込み層に近似乗算器を含む競合畳み込みニューラルネットワーク(CNN)を生成する。
論文参考訳（メタデータ） (2024-04-08T09:54:57Z)
ApproxTrain: Fast Simulation of Approximate Multipliers for DNN Training and Inference [4.386709201336175]
ハードウェア近似は、推論加速器の資源効率向上に有効であることを示した。本稿では,擬似近似乗算器を用いたトレーニング推論を高速に評価できるオープンソースのフレームワークであるApproxTrainを提案する。
論文参考訳（メタデータ） (2022-09-09T07:42:05Z)
Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。 GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文参考訳（メタデータ） (2021-07-31T08:36:30Z)
Adder Neural Networks [75.54239599016535]
我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
論文参考訳（メタデータ） (2021-05-29T04:02:51Z)
MinConvNets: A new class of multiplication-less Neural Networks [1.0323063834827415]
最小のコンパレータ操作で前方伝播の乗算を近似するMinConvNetを紹介します。特定の制約下で前方伝搬における最小演算で乗算子を置き換えることが可能であることを示す。また、よく訓練された正確なCNNからの伝達学習を用いて、MinConvNetsの推論中に等価な精度が得られることを示す。
論文参考訳（メタデータ） (2021-01-23T12:18:52Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)
Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文参考訳（メタデータ） (2020-02-18T17:42:13Z)
AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。本稿では,AdderNets のバックプロパゲーション手法を提案する。その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文参考訳（メタデータ） (2019-12-31T06:56:47Z)
Deep Learning Training with Simulated Approximate Multipliers [4.115297590661754]
本稿では、畳み込みニューラルネットワーク(CNN)のトレーニング性能を高めるために、近似乗算器をどのように利用できるかを示す。トレーニング段階の大部分において、速度、パワー、面積の点で近似乗算器の性能上の利点が得られる。一方、トレーニングの最終段階の正確な乗算器を用いることで、精度に対する負の影響が減少する。
論文参考訳（メタデータ） (2019-12-26T12:50:06Z)
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。