論文の概要: A comprehensive review of Binary Neural Network
- arxiv url: http://arxiv.org/abs/2110.06804v1
- Date: Mon, 11 Oct 2021 22:44:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-15 10:31:15.980819
- Title: A comprehensive review of Binary Neural Network
- Title（参考訳）: 二元ニューラルネットワークの包括的考察
- Authors: Chunyu Yuan and Sos S. Agaian
- Abstract要約: バイナリニューラルネットワーク(BNN)は、畳み込みニューラルネットワーク(CNN)パラメータ量子化の極端な応用である。
近年のBNNの発展により、この問題に対処する多くのアルゴリズムやソリューションが生まれている。
- 参考スコア（独自算出の注目度）: 2.918940961856197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Binary Neural Network (BNN) method is an extreme application of convolutional
neural network (CNN) parameter quantization. As opposed to the original CNN
methods which employed floating-point computation with full-precision weights
and activations, BBN uses 1-bit activations and weights. With BBNs, a
significant amount of storage, network complexity and energy consumption can be
reduced, and neural networks can be implemented more efficiently in embedded
applications. Unfortunately, binarization causes severe information loss. A gap
still exists between full-precision CNN models and their binarized
counterparts. The recent developments in BNN have led to a lot of algorithms
and solutions that have helped address this issue. This article provides a full
overview of recent developments in BNN. The present paper focuses exclusively
on 1-bit activations and weights networks, as opposed to previous surveys in
which low-bit works are mixed in. In this paper, we conduct a complete
investigation of BNN's development from their predecessors to the latest BNN
algorithms and techniques, presenting a broad design pipeline, and discussing
each module's variants. Along the way, this paper examines BNN (a) purpose:
their early successes and challenges; (b) BNN optimization: selected
representative works that contain key optimization techniques; (c) deployment:
open-source frameworks for BNN modeling and development; (d) terminal:
efficient computing architectures and devices for BNN and (e) applications:
diverse applications with BNN. Moreover, this paper discusses potential
directions and future research opportunities for the latest BNN algorithms and
techniques, presents a broad design pipeline, and discusses each module's
variants.
- Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、畳み込みニューラルネットワーク(CNN)パラメータ量子化の極端な応用である。
フル精度の重みとアクティベーションを備えた浮動小数点演算を用いたオリジナルのCNN法とは異なり、BBNは1ビットのアクティベーションと重みを使用する。
BBNでは、大量のストレージ、ネットワークの複雑さ、エネルギー消費を削減でき、ニューラルネットワークは組み込みアプリケーションでより効率的に実装できる。
残念ながら、バイナライゼーションは深刻な情報損失を引き起こす。
完全精度CNNモデルと双対モデルの間にはまだギャップがある。
最近のBNNの発展により、この問題に対処する多くのアルゴリズムやソリューションが生まれました。
この記事では、BNNの最近の展開について概観する。
本稿では,低ビット作業が混在する従来の調査とは対照的に,1ビットのアクティベーションと重み付けネットワークに特化している。
本稿では,BNNの前任者から最新のBNNアルゴリズムや技術に至るまでのBNNの開発について,幅広い設計パイプラインを提示し,各モジュールのバリエーションについて議論する。
途中、BNNについて検討する。
(a)目的:初期の成功と挑戦
(b)BNN最適化:鍵最適化技術を含む代表作品の選択
(c)デプロイメント:BNNモデリングと開発のためのオープンソースフレームワーク。
(d)端末:BNNのための効率的な計算アーキテクチャとデバイス
(e)アプリケーション: BNNを使った多様なアプリケーション。
さらに,最新のBNNアルゴリズムと技術の可能性と今後の研究機会について論じ,幅広い設計パイプラインを提示し,各モジュールの変種について論じる。
関連論文リスト
- NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。
我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。
さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文 参考訳（メタデータ） (2024-08-28T02:17:58Z) - Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。
BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。
提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
論文 参考訳（メタデータ） (2023-10-23T17:32:38Z) - Binary domain generalization for sparsifying binary neural networks [3.2462411268263964]
バイナリニューラルネットワーク(BNN)は、リソース制約のあるデバイスにおいて、ディープニューラルネットワーク(DNN)ベースのアプリケーションを開発、デプロイするための魅力的なソリューションである。
BNNの軽量プルーニングは性能劣化を招き、BNNの標準バイナライズドメインがタスクに適していないことを示唆している。
この研究は、プルーニング技術に対してより堅牢な標準バイナリドメインを拡張した、より一般的なバイナリドメインを提案する。
論文 参考訳（メタデータ） (2023-06-23T14:32:16Z) - Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。
我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。
実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文 参考訳（メタデータ） (2023-03-25T13:53:02Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - A Mixed Integer Programming Approach for Verifying Properties of
Binarized Neural Networks [44.44006029119672]
BNN検証のための混合整数計画法を提案する。
我々は,MNISTデータセットと航空機衝突回避制御器を用いて訓練したBNNの特性を検証することによって,我々のアプローチを実証する。
論文 参考訳（メタデータ） (2022-03-11T01:11:29Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - BCNN: Binary Complex Neural Network [16.82755328827758]
バイナリニューラルネットワーク(BNN)は、リソース制限のあるハードウェアを備えたエッジサイドアプリケーションにおいて、大きな可能性を秘めている。
本稿では,BNNに複雑な表現を導入し,バイナリ・コンプレックス・ニューラルネットワークを提案する。
BCNNは、複雑な表現を通じて学習能力を強化し、複雑な値の入力データに適用性を拡張することにより、BNNを改善している。
論文 参考訳（メタデータ） (2021-03-28T03:35:24Z) - BDD4BNN: A BDD-based Quantitative Analysis Framework for Binarized
Neural Networks [7.844146033635129]
一般実数ニューラルネットワークの1ビット量子化であるBinarized Neural Networks(BNNs)の検証問題について検討する。
我々のアプローチは,BNNの内部構造を利用して,BNNをBDD(Bibinary Decision Diagram)にエンコードすることである。
符号化に基づいて,BNNの高精度かつ包括的分析が可能なBNNの定量的検証フレームワークを開発する。
論文 参考訳（メタデータ） (2021-03-12T12:02:41Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。