論文の概要: AdderNet: Do We Really Need Multiplications in Deep Learning?

• arxiv url: http://arxiv.org/abs/1912.13200v6
• Date: Thu, 1 Jul 2021 04:46:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 20:51:16.124764
• Title: AdderNet: Do We Really Need Multiplications in Deep Learning?
• Title（参考訳）: AdderNet: ディープラーニングにマルチプリケーションは本当に必要か?
• Authors: Hanting Chen, Yunhe Wang, Chunjing Xu, Boxin Shi, Chao Xu, Qi Tian, Chang Xu
• Abstract要約: 我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。 本稿では,AdderNets のバックプロパゲーション手法を提案する。 その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
• 参考スコア（独自算出の注目度）: 159.174891462064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compared with cheap addition operation, multiplication operation is of much higher computation complexity. The widely-used convolutions in deep neural networks are exactly cross-correlation to measure the similarity between input feature and convolution filters, which involves massive multiplications between float values. In this paper, we present adder networks (AdderNets) to trade these massive multiplications in deep neural networks, especially convolutional neural networks (CNNs), for much cheaper additions to reduce computation costs. In AdderNets, we take the $\ell_1$-norm distance between filters and input feature as the output response. The influence of this new similarity measure on the optimization of neural network have been thoroughly analyzed. To achieve a better performance, we develop a special back-propagation approach for AdderNets by investigating the full-precision gradient. We then propose an adaptive learning rate strategy to enhance the training procedure of AdderNets according to the magnitude of each neuron's gradient. As a result, the proposed AdderNets can achieve 74.9% Top-1 accuracy 91.7% Top-5 accuracy using ResNet-50 on the ImageNet dataset without any multiplication in convolution layer. The codes are publicly available at: https://github.com/huaweinoah/AdderNet.
• Abstract（参考訳）: 安価な加算演算と比較すると、乗算演算は計算の複雑さがはるかに高い。 ディープニューラルネットワークにおける広く使われている畳み込みは、入力特徴と畳み込みフィルタの類似度を測定するために、正確にクロス相関である。 本稿では,深層ニューラルネットワーク,特に畳み込みニューラルネットワーク(CNN)におけるこれらの膨大な乗算を,計算コストを削減するために,より安価な加算を行うための加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力機能の間の$\ell_1$-norm距離を出力応答としています。 この新たな類似度尺度がニューラルネットワークの最適化に与える影響を網羅的に分析した。 より優れた性能を実現するために,本研究では,全精度勾配を調べることにより,アダネットに対する特別なバックプロパゲーション手法を開発した。 次に,各ニューロンの勾配の大きさに応じてアダネットの学習手順を強化する適応学習速度戦略を提案する。 その結果、畳み込み層を乗算することなく、imagenetデータセット上でresnet-50を使用して74.9%のtop-1精度91.7%top-5精度が得られる。 コードは、https://github.com/huaweinoah/AdderNetで公開されている。

関連論文リスト

• RelChaNet: Neural Network Feature Selection using Relative Change Scores [0.0]
  本稿では、ニューラルネットワークの入力層にニューロンのプルーニングと再成長を利用する、新しくて軽量な特徴選択アルゴリズムであるRelChaNetを紹介する。 我々の手法は一般に現在の最先端手法よりも優れており、特にMNISTデータセットの平均精度を2%向上させる。
  論文  参考訳（メタデータ） (2024-10-03T09:56:39Z)
• Neural Network Optimization for Reinforcement Learning Tasks Using Sparse Computations [3.4328283704703866]
  本稿では、強化学習タスクにニューラルネットワークを最適化するスパース計算に基づく手法を提案する。 これにより、ニューラルネットワークの実行時の乗算数が大幅に削減される。
  論文  参考訳（メタデータ） (2022-01-07T18:09:23Z)
• Adder Neural Networks [75.54239599016535]
  我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-29T04:02:51Z)
• AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence [111.09105910265154]
  アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。 AdderNet全体の16%の高速化を実現している。 我々は、AdderNetが他の競争相手を追い越せると結論付けている。
  論文  参考訳（メタデータ） (2021-01-25T11:31:52Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• Add a SideNet to your MainNet [0.0]
  そこで我々は、SideNetと呼ぶ小さな分類層をMainNetと呼ぶ大規模な事前学習ネットワークにアタッチすることで、適応的なネットワーク複雑性を実現する手法を開発した。 入力が与えられた場合、SideNetは、その信頼性レベルがユーザ決定しきい値を超え、信頼度が低すぎる場合にのみ大きなMainNetに渡す。 実験結果から,プレトレーニング済みのResNetとBERT MainNetに加えられた単純な単一層パーセプトロン・サイドネットは,画像やテキストの分類タスクのパフォーマンスを最小限に抑えることができることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T19:25:32Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。