論文の概要: Adder Neural Networks

• arxiv url: http://arxiv.org/abs/2105.14202v2
• Date: Tue, 1 Jun 2021 06:16:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:47:11.151838
• Title: Adder Neural Networks
• Title（参考訳）: 加算ニューラルネットワーク
• Authors: Hanting Chen, Yunhe Wang, Chang Xu, Chao Xu, Chunjing Xu, Tong Zhang
• Abstract要約: 我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
• 参考スコア（独自算出の注目度）: 75.54239599016535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compared with cheap addition operation, multiplication operation is of much higher computation complexity. The widely-used convolutions in deep neural networks are exactly cross-correlation to measure the similarity between input feature and convolution filters, which involves massive multiplications between float values. In this paper, we present adder networks (AdderNets) to trade these massive multiplications in deep neural networks, especially convolutional neural networks (CNNs), for much cheaper additions to reduce computation costs. In AdderNets, we take the $\ell_1$-norm distance between filters and input feature as the output response. The influence of this new similarity measure on the optimization of neural network have been thoroughly analyzed. To achieve a better performance, we develop a special training approach for AdderNets by investigating the $\ell_p$-norm. We then propose an adaptive learning rate strategy to enhance the training procedure of AdderNets according to the magnitude of each neuron's gradient. As a result, the proposed AdderNets can achieve 75.7% Top-1 accuracy 92.3% Top-5 accuracy using ResNet-50 on the ImageNet dataset without any multiplication in convolutional layer. Moreover, we develop a theoretical foundation for AdderNets, by showing that both the single hidden layer AdderNet and the width-bounded deep AdderNet with ReLU activation functions are universal function approximators. These results match those of the traditional neural networks using the more complex multiplication units. An approximation bound for AdderNets with a single hidden layer is also presented.
• Abstract（参考訳）: 安価な加算演算と比較すると、乗算演算は計算の複雑さがはるかに高い。 ディープニューラルネットワークにおける広く使われている畳み込みは、入力特徴と畳み込みフィルタの類似度を測定するために、正確にクロス相関である。 本稿では,深層ニューラルネットワーク,特に畳み込みニューラルネットワーク(CNN)におけるこれらの膨大な乗算を,計算コストを削減するために,より安価な加算を行うための加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力機能の間の$\ell_1$-norm距離を出力応答としています。 この新たな類似度尺度がニューラルネットワークの最適化に与える影響を網羅的に分析した。 より優れたパフォーマンスを実現するため,$\ell_p$-norm を調査し,AdderNets の特別なトレーニング手法を開発した。 次に,各ニューロンの勾配の大きさに応じてアダネットの学習手順を強化する適応学習速度戦略を提案する。 その結果、AdderNetsは画像Netデータセット上でResNet-50を使用して75.7%のTop-1精度92.3%のTop-5精度を達成することができる。 さらに,ReLUアクティベーション関数を持つ単一の隠蔽層AdderNetと幅境界層AdderNetの両方が普遍関数近似器であることを示すことにより,AdderNetsの理論基盤を構築する。 これらの結果は、より複雑な乗算単位を用いて従来のニューラルネットワークのものと一致する。 単一の隠れレイヤでAdderNetsにバインドされた近似も提示される。

関連論文リスト

• Redistribution of Weights and Activations for AdderNet Quantization [33.78204350112026]
  Adder Neural Network (AdderNet)は、エネルギー効率の良いニューラルネットワークを開発するための新しい方法を提供する。 ハードウェア効率を向上させるためには、AdderNetの低ビット量子化をさらに研究する必要がある。 重みとアクティベーションを再分配する新しい量子化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-20T12:24:48Z)
• An Empirical Study of Adder Neural Networks for Object Detection [67.64041181937624]
  加算ニューラルネットワーク(AdderNets)は、追加操作のみを伴う画像分類において、優れたパフォーマンスを示している。 本稿では,オブジェクト検出のためのAdderNetsを実証研究する。
  論文  参考訳（メタデータ） (2021-12-27T11:03:13Z)
• AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence [111.09105910265154]
  アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。 AdderNet全体の16%の高速化を実現している。 我々は、AdderNetが他の競争相手を追い越せると結論付けている。
  論文  参考訳（メタデータ） (2021-01-25T11:31:52Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• Add a SideNet to your MainNet [0.0]
  そこで我々は、SideNetと呼ぶ小さな分類層をMainNetと呼ぶ大規模な事前学習ネットワークにアタッチすることで、適応的なネットワーク複雑性を実現する手法を開発した。 入力が与えられた場合、SideNetは、その信頼性レベルがユーザ決定しきい値を超え、信頼度が低すぎる場合にのみ大きなMainNetに渡す。 実験結果から,プレトレーニング済みのResNetとBERT MainNetに加えられた単純な単一層パーセプトロン・サイドネットは,画像やテキストの分類タスクのパフォーマンスを最小限に抑えることができることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T19:25:32Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)
• AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
  我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。 本稿では,AdderNets のバックプロパゲーション手法を提案する。 その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
  論文  参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。