Fugu-MT 論文翻訳(概要): Self-Distribution Binary Neural Networks

論文の概要: Self-Distribution Binary Neural Networks

arxiv url: http://arxiv.org/abs/2103.02394v2
Date: Thu, 4 Mar 2021 02:17:03 GMT
ステータス: 処理完了
システム内更新日: 2021-03-05 13:02:23.403816
Title: Self-Distribution Binary Neural Networks
Title（参考訳）: 自己分散バイナリニューラルネットワーク
Authors: Ping Xue, Yang Lu, Jingfei Chang, Xing Wei, Zhen Wei
Abstract要約: 重みとアクティベーションの両方がバイナリ(すなわち1ビット表現)である2進ニューラルネットワーク(BNN)について研究する。 SD-BNN(Self-Distribution Biinary Neural Network)を提案する。 CIFAR-10とImageNetデータセットの実験では、提案されたSD-BNNは、最先端(SOTA)BNNよりも一貫して優れていた。
参考スコア（独自算出の注目度）: 18.69165083747967
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we study the binary neural networks (BNNs) of which both the weights and activations are binary (i.e., 1-bit representation). Feature representation is critical for deep neural networks, while in BNNs, the features only differ in signs. Prior work introduces scaling factors into binary weights and activations to reduce the quantization error and effectively improves the classification accuracy of BNNs. However, the scaling factors not only increase the computational complexity of networks, but also make no sense to the signs of binary features. To this end, Self-Distribution Binary Neural Network (SD-BNN) is proposed. Firstly, we utilize Activation Self Distribution (ASD) to adaptively adjust the sign distribution of activations, thereby improve the sign differences of the outputs of the convolution. Secondly, we adjust the sign distribution of weights through Weight Self Distribution (WSD) and then fine-tune the sign distribution of the outputs of the convolution. Extensive experiments on CIFAR-10 and ImageNet datasets with various network structures show that the proposed SD-BNN consistently outperforms the state-of-the-art (SOTA) BNNs (e.g., achieves 92.5% on CIFAR-10 and 66.5% on ImageNet with ResNet-18) with less computation cost. Code is available at https://github.com/ pingxue-hfut/SD-BNN.
Abstract（参考訳）: 本研究では、重みとアクティベーションの両方がバイナリ(すなわち1ビット表現)である2進ニューラルネットワーク(BNN)について検討する。特徴表現はディープニューラルネットワークにとって重要ですが、BNNでは特徴はサインでしか異なります。先行研究では、量子化誤差を低減し、bnnの分類精度を効果的に向上するために、二元重みとアクティベーションにスケーリング係数を導入する。しかしながら、スケーリング要因はネットワークの計算複雑性を増加させるだけでなく、バイナリ機能の兆候にも意味をなさない。そこで,SD-BNN(Self-Distribution Binary Neural Network)を提案する。まず、アクティベーション自己分布(ASD)を用いて、アクティベーションの符号分布を適応的に調整し、畳み込みの出力の符号差を改善する。第二に、重量自己分布(WSD)を通じて重みの符号分布を調整し、畳み込みの符号分布を微調整します。さまざまなネットワーク構造を持つCIFAR-10およびImageNetデータセットの広範な実験は、提案されたSD-BNNが常に最先端の(SOTA)BNN(例えば、CIFAR-10で92.5%、ResNet-18で66.5%)を計算コストで上回ることを示唆している。コードはhttps://github.com/ pingxue-hfut/SD-BNNで入手できる。

関連論文リスト

Boosting Binary Neural Networks via Dynamic Thresholds Learning [21.835748440099586]
我々はDySignを導入し、情報損失を減らし、BNNの代表能力を高める。 DCNNでは、2つのバックボーンに基づくDyBCNNが、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。 ViTsの場合、DyCCTはImageNetデータセット上で完全にバイナライズされたViTsと56.1%のコンボリューショナル埋め込み層の優位性を示す。
論文参考訳（メタデータ） (2022-11-04T07:18:21Z)
Basic Binary Convolution Unit for Binarized Image Restoration Network [146.0988597062618]
本研究では,画像復元作業における残差接続,BatchNorm,アクティベーション機能,構造などのバイナリ畳み込みのコンポーネントを再検討する。本研究の成果と分析に基づいて, 単純で効率的な基本二元畳み込みユニット (BBCU) を設計した。我々のBBCUは、他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示しています。
論文参考訳（メタデータ） (2022-10-02T01:54:40Z)
Towards Accurate Binary Neural Networks via Modeling Contextual Dependencies [52.691032025163175]
既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
論文参考訳（メタデータ） (2022-09-03T11:51:04Z)
Elastic-Link for Binarized Neural Network [9.83865304744923]
ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
論文参考訳（メタデータ） (2021-12-19T13:49:29Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
Dynamic Binary Neural Network by learning channel-wise thresholds [9.432747511001246]
信号関数の動的学習可能なチャンネルワイドしきい値とPRELUのシフトパラメータを組み込んだ動的BNN(DyBNN)を提案する。 DyBNNはReActNetの2つのバックボーン(MobileNetV1とResNet18)に基づいており、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。
論文参考訳（メタデータ） (2021-10-08T17:41:36Z)
"BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
論文参考訳（メタデータ） (2021-04-16T16:46:57Z)
S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文参考訳（メタデータ） (2021-02-17T18:59:28Z)
FracBNN: Accurate and FPGA-Efficient Binary Neural Networks with Fractional Activations [20.218382369944152]
binary neural network (bnns) は1ビットの重みとアクティベーションを持つ。 BNNはImageNetのような現実的なデータセットの精度がはるかに低い傾向にある。本研究では、BNNの精度を大幅に向上させるために分数活性化を利用するFracBNNを提案する。
論文参考訳（メタデータ） (2020-12-22T17:49:30Z)
Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution [12.46127622357824]
非平衡な活性化分布はBNNの精度を実際に向上させることができることを示す。また、二項活性化関数のしきい値を調整することにより、二項活性化関数の不均衡分布が生じることを示す。実験結果から,バイナリアクティベーション関数のしきい値を簡単にシフトすることで,従来のBNNモデルの精度を向上させることができることがわかった。
論文参考訳（メタデータ） (2020-12-02T02:49:53Z)
Distillation Guided Residual Learning for Binary Convolutional Neural Networks [83.6169936912264]
Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
論文参考訳（メタデータ） (2020-07-10T07:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。