Fugu-MT 論文翻訳(概要): Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks

論文の概要: Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks

arxiv url: http://arxiv.org/abs/2110.09195v1
Date: Mon, 18 Oct 2021 11:30:29 GMT
ステータス: 処理完了
システム内更新日: 2021-10-19 17:19:12.931274
Title: Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks
Title（参考訳）: サブビットニューラルネットワーク:バイナリニューラルネットワークの圧縮と高速化のための学習
Authors: Yikai Wang, Yi Yang, Fuchun Sun, Anbang Yao
Abstract要約: Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
参考スコア（独自算出の注目度）: 72.81092567651395
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In the low-bit quantization field, training Binary Neural Networks (BNNs) is the extreme solution to ease the deployment of deep models on resource-constrained devices, having the lowest storage cost and significantly cheaper bit-wise operations compared to 32-bit floating-point counterparts. In this paper, we introduce Sub-bit Neural Networks (SNNs), a new type of binary quantization design tailored to compress and accelerate BNNs. SNNs are inspired by an empirical observation, showing that binary kernels learnt at convolutional layers of a BNN model are likely to be distributed over kernel subsets. As a result, unlike existing methods that binarize weights one by one, SNNs are trained with a kernel-aware optimization framework, which exploits binary quantization in the fine-grained convolutional kernel space. Specifically, our method includes a random sampling step generating layer-specific subsets of the kernel space, and a refinement step learning to adjust these subsets of binary kernels via optimization. Experiments on visual recognition benchmarks and the hardware deployment on FPGA validate the great potentials of SNNs. For instance, on ImageNet, SNNs of ResNet-18/ResNet-34 with 0.56-bit weights achieve 3.13/3.33 times runtime speed-up and 1.8 times compression over conventional BNNs with moderate drops in recognition accuracy. Promising results are also obtained when applying SNNs to binarize both weights and activations. Our code is available at https://github.com/yikaiw/SNN.
Abstract（参考訳）: 低ビット量子化の分野では、トレーニングバイナリニューラルネットワーク(BNN)は、リソース制約されたデバイスへのディープモデルのデプロイを容易にする極端なソリューションであり、32ビット浮動小数点演算と比較して、ストレージコストが低く、ビット幅演算が大幅に安い。本稿では,BNNの圧縮と高速化に適した新しいバイナリ量子化設計であるSub-bit Neural Networks(SNN)を紹介する。 SNNは経験的な観察にインスパイアされ、BNNモデルの畳み込み層で学んだバイナリカーネルがカーネルサブセットに分散されることが示されている。その結果、既存の重み付けを1つずつ行う方法とは異なり、snsはカーネルアウェア最適化フレームワークで訓練され、きめ細かい畳み込み型カーネル空間でバイナリ量子化を利用する。具体的には、カーネル空間の層固有のサブセットを生成するランダムサンプリングステップと、最適化によってこれらのバイナリカーネルのサブセットを調整する改良ステップとを含む。ビジュアル認識ベンチマークの実験とFPGA上のハードウェア展開は、SNNの大きな可能性を検証する。例えば、ImageNetでは、0.56ビット重みを持つResNet-18/ResNet-34のSNNは、従来のBNNよりも3.13/3.33倍の高速化と1.8倍の圧縮を実現している。 snnを重みとアクティベーションの両方を二元化するときにも有望な結果が得られる。私たちのコードはhttps://github.com/yikaiw/snnで入手できる。

関連論文リスト

NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文参考訳（メタデータ） (2024-08-28T02:17:58Z)
Bayesian Inference Accelerator for Spiking Neural Networks [3.145754107337963]
スパイキングニューラルネットワーク(SNN)は、計算面積と電力を減らす可能性がある。本研究では,効率的なベイズSNNをハードウェア上で開発・実装するための最適化フレームワークについて述べる。我々は、完全精度のベルヌーイパラメータを持つベイジアンバイナリネットワークに匹敵するアキュラ級数を示し、最大25時間分のスパイクを減らした。
論文参考訳（メタデータ） (2024-01-27T16:27:19Z)
Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
論文参考訳（メタデータ） (2023-10-23T17:32:38Z)
Binary domain generalization for sparsifying binary neural networks [3.2462411268263964]
バイナリニューラルネットワーク(BNN)は、リソース制約のあるデバイスにおいて、ディープニューラルネットワーク(DNN)ベースのアプリケーションを開発、デプロイするための魅力的なソリューションである。 BNNの軽量プルーニングは性能劣化を招き、BNNの標準バイナライズドメインがタスクに適していないことを示唆している。この研究は、プルーニング技術に対してより堅牢な標準バイナリドメインを拡張した、より一般的なバイナリドメインを提案する。
論文参考訳（メタデータ） (2023-06-23T14:32:16Z)
Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文参考訳（メタデータ） (2023-03-25T13:53:02Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
Sparsifying Binary Networks [3.8350038566047426]
バイナリニューラルネットワーク(BNN)は、完全精度のディープニューラルネットワーク(DNN)と同等の精度で複雑なタスクを解く能力を示した。最近の改善にもかかわらず、非常に限られたリソースを持つ特定のデバイスで不十分な、固定的で制限された圧縮要因に悩まされている。本稿では,BNNの疎性を導入した新しいモデルとトレーニング手法であるスパースバイナリニューラルネットワーク(SBNN)と,ネットワークの重みをバイナライズする新しい量子化関数を提案する。
論文参考訳（メタデータ） (2022-07-11T15:54:41Z)
Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文参考訳（メタデータ） (2021-06-18T03:11:15Z)
FracBNN: Accurate and FPGA-Efficient Binary Neural Networks with Fractional Activations [20.218382369944152]
binary neural network (bnns) は1ビットの重みとアクティベーションを持つ。 BNNはImageNetのような現実的なデータセットの精度がはるかに低い傾向にある。本研究では、BNNの精度を大幅に向上させるために分数活性化を利用するFracBNNを提案する。
論文参考訳（メタデータ） (2020-12-22T17:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。