論文の概要: How to train accurate BNNs for embedded systems?
- arxiv url: http://arxiv.org/abs/2206.12322v1
- Date: Fri, 24 Jun 2022 14:45:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-27 12:59:46.243351
- Title: How to train accurate BNNs for embedded systems?
- Title(参考訳): 組込みシステムのための正確なBNNのトレーニング方法
- Authors: Floran de Putter and Henk Corporaal
- Abstract要約: リソース制約のある組み込みシステムに畳み込みニューラルネットワークをデプロイする鍵となるのは、バイナリニューラルネットワーク(BNN)である。
BNNはメモリを節約し、特徴と重みをバイナライズすることで計算を単純化する。
2値ネットワークと完全精度ネットワークの精度ギャップを低減するために,多くの補修法が提案されている。
- 参考スコア(独自算出の注目度): 3.3656658394967973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A key enabler of deploying convolutional neural networks on
resource-constrained embedded systems is the binary neural network (BNN). BNNs
save on memory and simplify computation by binarizing both features and
weights. Unfortunately, binarization is inevitably accompanied by a severe
decrease in accuracy. To reduce the accuracy gap between binary and
full-precision networks, many repair methods have been proposed in the recent
past, which we have classified and put into a single overview in this chapter.
The repair methods are divided into two main branches, training techniques and
network topology changes, which can further be split into smaller categories.
The latter category introduces additional cost (energy consumption or
additional area) for an embedded system, while the former does not. From our
overview, we observe that progress has been made in reducing the accuracy gap,
but BNN papers are not aligned on what repair methods should be used to get
highly accurate BNNs. Therefore, this chapter contains an empirical review that
evaluates the benefits of many repair methods in isolation over the
ResNet-20\&CIFAR10 and ResNet-18\&CIFAR100 benchmarks. We found three repair
categories most beneficial: feature binarizer, feature normalization, and
double residual. Based on this review we discuss future directions and research
opportunities. We sketch the benefit and costs associated with BNNs on embedded
systems because it remains to be seen whether BNNs will be able to close the
accuracy gap while staying highly energy-efficient on resource-constrained
embedded systems.
- Abstract(参考訳): 畳み込みニューラルネットワークをリソース制約付き組み込みシステム上にデプロイするためのキーイネーブラは、binary neural network (bnn)である。
BNNはメモリを節約し、特徴と重みをバイナライズすることで計算を単純化する。
残念ながら、二項化は必然的に精度の低下を伴う。
本章では,2値ネットワークと完全精度ネットワークの精度ギャップを低減するため,近年では多くの補修手法が提案されている。
修復方法はトレーニング技術とネットワークトポロジの変更の2つのメインブランチに分割され,さらに小さなカテゴリに分割することができる。
後者は組み込みシステムの追加コスト(エネルギー消費または追加エリア)を導入するが、前者は導入しない。
以上より,BNNの精度差の低減に進展が見られたが,BNNの高精度なBNNの補修方法については,BNNの論文は一致していない。
したがって、本章では、resnet-20\&cifar10とresnet-18\&cifar100ベンチマークを分離して多くの修復方法の利点を評価する経験的レビューを含む。
最も有益である3つの修復カテゴリーは, 機能バイナライザ, 機能正規化, 二重残基であった。
本稿では,今後の方向性と研究の機会について論じる。
我々は,BNNが資源制約の組込みシステムにおいてエネルギー効率を高く保ちながら,BNNが精度のギャップを埋められるかどうかをまだ見極めていないため,組込みシステムにおけるBNNのメリットとコストを概観する。
関連論文リスト
- Binary domain generalization for sparsifying binary neural networks [3.2462411268263964]
バイナリニューラルネットワーク(BNN)は、リソース制約のあるデバイスにおいて、ディープニューラルネットワーク(DNN)ベースのアプリケーションを開発、デプロイするための魅力的なソリューションである。
BNNの軽量プルーニングは性能劣化を招き、BNNの標準バイナライズドメインがタスクに適していないことを示唆している。
この研究は、プルーニング技術に対してより堅牢な標準バイナリドメインを拡張した、より一般的なバイナリドメインを提案する。
論文 参考訳(メタデータ) (2023-06-23T14:32:16Z) - Basic Binary Convolution Unit for Binarized Image Restoration Network [146.0988597062618]
本研究では,画像復元作業における残差接続,BatchNorm,アクティベーション機能,構造などのバイナリ畳み込みのコンポーネントを再検討する。
本研究の成果と分析に基づいて, 単純で効率的な基本二元畳み込みユニット (BBCU) を設計した。
我々のBBCUは、他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示しています。
論文 参考訳(メタデータ) (2022-10-02T01:54:40Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳(メタデータ) (2022-09-04T06:45:33Z) - Elastic-Link for Binarized Neural Network [9.83865304744923]
ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。
ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。
ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
論文 参考訳(メタデータ) (2021-12-19T13:49:29Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳(メタデータ) (2021-10-18T11:30:29Z) - A comprehensive review of Binary Neural Network [2.918940961856197]
バイナリニューラルネットワーク(BNN)は、畳み込みニューラルネットワーク(CNN)パラメータ量子化の極端な応用である。
近年のBNNの発展により、この問題に対処する多くのアルゴリズムやソリューションが生まれている。
論文 参考訳(メタデータ) (2021-10-11T22:44:15Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳(メタデータ) (2021-02-17T18:59:28Z) - FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。
我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
論文 参考訳(メタデータ) (2020-10-19T08:11:48Z) - Distillation Guided Residual Learning for Binary Convolutional Neural
Networks [83.6169936912264]
Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。
我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。
性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。
このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
論文 参考訳(メタデータ) (2020-07-10T07:55:39Z) - Bayesian x-vector: Bayesian Neural Network based x-vector System for
Speaker Verification [71.45033077934723]
我々はディープニューラルネットワーク(DNN)xベクトル話者検証システムにベイズニューラルネットワーク(BNN)を組み込む。
BNNによって提供される重みの不確実性モデリングにより、システムは評価データにより良い一般化を期待できる。
その結果、BNNの相対的なEERの2.66%と2.32%の減少により、短文と短文のドメイン評価が可能であることが判明した。
論文 参考訳(メタデータ) (2020-04-08T14:35:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。