論文の概要: BoolNet: Minimizing The Energy Consumption of Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2106.06991v1
• Date: Sun, 13 Jun 2021 13:37:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:29:57.294007
• Title: BoolNet: Minimizing The Energy Consumption of Binary Neural Networks
• Title（参考訳）: boolnet:バイナリニューラルネットワークのエネルギー消費を最小化する
• Authors: Nianhui Guo, Joseph Bethge, Haojin Yang, Kai Zhong, Xuefei Ning, Christoph Meinel and Yu Wang
• Abstract要約: 一般的な32ビットコンポーネントを使わずに新しいBNNアーキテクチャを提案する: textitBoolNet。 本稿では,一般的なBNNアーキテクチャであるBi-RealNetよりも1.2%高い精度で,BoolNetが4.6倍のエネルギー削減を実現可能であることを示す。
• 参考スコア（独自算出の注目度）: 21.78874958231522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works on Binary Neural Networks (BNNs) have made promising progress in narrowing the accuracy gap of BNNs to their 32-bit counterparts. However, the accuracy gains are often based on specialized model designs using additional 32-bit components. Furthermore, almost all previous BNNs use 32-bit for feature maps and the shortcuts enclosing the corresponding binary convolution blocks, which helps to effectively maintain the accuracy, but is not friendly to hardware accelerators with limited memory, energy, and computing resources. Thus, we raise the following question: How can accuracy and energy consumption be balanced in a BNN network design? We extensively study this fundamental problem in this work and propose a novel BNN architecture without most commonly used 32-bit components: \textit{BoolNet}. Experimental results on ImageNet demonstrate that BoolNet can achieve 4.6x energy reduction coupled with 1.2\% higher accuracy than the commonly used BNN architecture Bi-RealNet. Code and trained models are available at: https://github.com/hpi-xnor/BoolNet.
• Abstract（参考訳）: 最近のBNN(Binary Neural Networks)の研究は、BNNの精度ギャップを32ビットに狭めるという有望な進歩を遂げている。 しかし、精度の向上は、しばしば32ビットのコンポーネントを追加する特別なモデル設計に基づいている。 さらに、以前のほとんどのBNNでは、機能マップと対応するバイナリ畳み込みブロックを囲むショートカットに32ビットを使用しており、精度を効果的に維持するのに役立つが、メモリ、エネルギ、コンピューティングリソースに制限のあるハードウェアアクセラレータには適していない。 そこで我々は,BNNネットワーク設計において,精度とエネルギー消費のバランスをとるにはどうすればよいのか,という疑問を提起する。 本稿では,本研究の根本的課題を幅広く研究し,最もよく使用される32ビットコンポーネントを含まない新しいBNNアーキテクチャを提案する。 ImageNetの実験結果によると、BoolNetはBNNアーキテクチャのBi-RealNetよりも1.2\%高い精度で4.6倍のエネルギー削減を達成できる。 コードとトレーニングされたモデルは、https://github.com/hpi-xnor/BoolNet.comで入手できる。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Basic Binary Convolution Unit for Binarized Image Restoration Network [146.0988597062618]
  本研究では,画像復元作業における残差接続,BatchNorm,アクティベーション機能,構造などのバイナリ畳み込みのコンポーネントを再検討する。 本研究の成果と分析に基づいて, 単純で効率的な基本二元畳み込みユニット (BBCU) を設計した。 我々のBBCUは、他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示しています。
  論文  参考訳（メタデータ） (2022-10-02T01:54:40Z)
• Towards Accurate Binary Neural Networks via Modeling Contextual Dependencies [52.691032025163175]
  既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。 本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
  論文  参考訳（メタデータ） (2022-09-03T11:51:04Z)
• Elastic-Link for Binarized Neural Network [9.83865304744923]
  ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-12-19T13:49:29Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• A comprehensive review of Binary Neural Network [2.918940961856197]
  バイナリニューラルネットワーク(BNN)は、畳み込みニューラルネットワーク(CNN)パラメータ量子化の極端な応用である。 近年のBNNの発展により、この問題に対処する多くのアルゴリズムやソリューションが生まれている。
  論文  参考訳（メタデータ） (2021-10-11T22:44:15Z)
• BCNN: Binary Complex Neural Network [16.82755328827758]
  バイナリニューラルネットワーク(BNN)は、リソース制限のあるハードウェアを備えたエッジサイドアプリケーションにおいて、大きな可能性を秘めている。 本稿では,BNNに複雑な表現を導入し,バイナリ・コンプレックス・ニューラルネットワークを提案する。 BCNNは、複雑な表現を通じて学習能力を強化し、複雑な値の入力データに適用性を拡張することにより、BNNを改善している。
  論文  参考訳（メタデータ） (2021-03-28T03:35:24Z)
• AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence [111.09105910265154]
  アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。 AdderNet全体の16%の高速化を実現している。 我々は、AdderNetが他の競争相手を追い越せると結論付けている。
  論文  参考訳（メタデータ） (2021-01-25T11:31:52Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• MeliusNet: Can Binary Neural Networks Achieve MobileNet-level Accuracy? [12.050205584630922]
  バイナリニューラルネットワーク(BNN)は、典型的な32ビット浮動小数点値の代わりに2重みとアクティベーションを使用するニューラルネットワークである。 本稿では,特徴量を増加させるDenseBlockと,特徴量を増加させるAdvancedBlockというアーキテクチャアプローチを提案する。
  論文  参考訳（メタデータ） (2020-01-16T16:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。