Fugu-MT 論文翻訳(概要): RepBNN: towards a precise Binary Neural Network with Enhanced Feature Map via Repeating

論文の概要: RepBNN: towards a precise Binary Neural Network with Enhanced Feature Map via Repeating

arxiv url: http://arxiv.org/abs/2207.09049v1
Date: Tue, 19 Jul 2022 03:38:34 GMT
ステータス: 処理完了
システム内更新日: 2022-07-20 12:54:51.362898
Title: RepBNN: towards a precise Binary Neural Network with Enhanced Feature Map via Repeating
Title（参考訳）: RepBNN: 繰り返しによる特徴マップの強化による正確なバイナリニューラルネットワークに向けて
Authors: Xulong Shi, Zhi Qi, Jiaxuan Cai, Keqi Fu, Yaru Zhao, Zan Li, Xuanyu Liu, Hao Liu
Abstract要約: バイナリニューラルネットワーク(BNN)は、畳み込みニューラルネットワーク(CNN)の極端な量子化バージョンで、すべての特徴と重みを1ビットにマッピングする。本稿では,新しい交換可能で使いやすい畳み込みモジュールRepConvを提案する。
参考スコア（独自算出の注目度）: 19.091622136753656
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Binary neural network (BNN) is an extreme quantization version of convolutional neural networks (CNNs) with all features and weights mapped to just 1-bit. Although BNN saves a lot of memory and computation demand to make CNN applicable on edge or mobile devices, BNN suffers the drop of network performance due to the reduced representation capability after binarization. In this paper, we propose a new replaceable and easy-to-use convolution module RepConv, which enhances feature maps through replicating input or output along channel dimension by $\beta$ times without extra cost on the number of parameters and convolutional computation. We also define a set of RepTran rules to use RepConv throughout BNN modules like binary convolution, fully connected layer and batch normalization. Experiments demonstrate that after the RepTran transformation, a set of highly cited BNNs have achieved universally better performance than the original BNN versions. For example, the Top-1 accuracy of Rep-ReCU-ResNet-20, i.e., a RepBconv enhanced ReCU-ResNet-20, reaches 88.97% on CIFAR-10, which is 1.47% higher than that of the original network. And Rep-AdamBNN-ReActNet-A achieves 71.342% Top-1 accuracy on ImageNet, a fresh state-of-the-art result of BNNs. Code and models are available at:https://github.com/imfinethanks/Rep_AdamBNN.
Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、畳み込みニューラルネットワーク(CNN)の極端な量子化バージョンで、すべての特徴と重みを1ビットにマッピングする。 BNNは、CNNをエッジやモバイルデバイスに適用するために多くのメモリと計算要求を節約するが、バイナライゼーション後の表現能力の低下によりネットワーク性能が低下する。本稿では, パラメータ数や畳み込み計算に余分なコストを伴わずに, チャネル次元に沿って入力や出力を$\beta$倍に複製することで, 特徴マップを改良する, 交換可能で使いやすい畳み込みモジュールRepConvを提案する。また、バイナリ畳み込み、完全連結層、バッチ正規化など、BNNモジュール全体でRepConvを使用するためのRepTranルールのセットを定義します。実験により、RepTran変換の後、高度に引用されたBNNのセットが、元のBNNバージョンよりも普遍的に優れたパフォーマンスを達成していることが示された。例えば、Rep-ReCU-ResNet-20のTop-1精度、すなわちRepBconv拡張ReCU-ResNet-20は、元のネットワークよりも1.47%高いCIFAR-10上で88.97%に達する。そしてRep-AdamBNN-ReActNet-Aは、BNNの新たな最先端結果であるImageNetで71.342%のTop-1精度を達成した。コードとモデルは、https://github.com/imfinethanks/rep_adambnnで入手できる。

関連論文リスト

NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文参考訳（メタデータ） (2024-08-28T02:17:58Z)
Basic Binary Convolution Unit for Binarized Image Restoration Network [146.0988597062618]
本研究では,画像復元作業における残差接続,BatchNorm,アクティベーション機能,構造などのバイナリ畳み込みのコンポーネントを再検討する。本研究の成果と分析に基づいて, 単純で効率的な基本二元畳み込みユニット (BBCU) を設計した。我々のBBCUは、他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示しています。
論文参考訳（メタデータ） (2022-10-02T01:54:40Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
Elastic-Link for Binarized Neural Network [9.83865304744923]
ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
論文参考訳（メタデータ） (2021-12-19T13:49:29Z)
PokeBNN: A Binary Pursuit of Lightweight Accuracy [20.45798026556764]
バイナリニューラルネットワーク(BNN)は計算強度を大幅に低下させる可能性があるが、既存のモデルは品質の低下に悩まされている。複数の残差パスを追加する手法によってBNNの品質を向上させるバイナリ畳み込みブロックであるPokeConvを提案する。これらの手法は、トップ1の精度とネットワークコストの両方において良好な改善をもたらすために選択される。
論文参考訳（メタデータ） (2021-11-30T22:05:59Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
Dynamic Binary Neural Network by learning channel-wise thresholds [9.432747511001246]
信号関数の動的学習可能なチャンネルワイドしきい値とPRELUのシフトパラメータを組み込んだ動的BNN(DyBNN)を提案する。 DyBNNはReActNetの2つのバックボーン(MobileNetV1とResNet18)に基づいており、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。
論文参考訳（メタデータ） (2021-10-08T17:41:36Z)
"BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
論文参考訳（メタデータ） (2021-04-16T16:46:57Z)
BCNN: Binary Complex Neural Network [16.82755328827758]
バイナリニューラルネットワーク(BNN)は、リソース制限のあるハードウェアを備えたエッジサイドアプリケーションにおいて、大きな可能性を秘めている。本稿では,BNNに複雑な表現を導入し,バイナリ・コンプレックス・ニューラルネットワークを提案する。 BCNNは、複雑な表現を通じて学習能力を強化し、複雑な値の入力データに適用性を拡張することにより、BNNを改善している。
論文参考訳（メタデータ） (2021-03-28T03:35:24Z)
Self-Distribution Binary Neural Networks [18.69165083747967]
重みとアクティベーションの両方がバイナリ(すなわち1ビット表現)である2進ニューラルネットワーク(BNN)について研究する。 SD-BNN(Self-Distribution Biinary Neural Network)を提案する。 CIFAR-10とImageNetデータセットの実験では、提案されたSD-BNNは、最先端(SOTA)BNNよりも一貫して優れていた。
論文参考訳（メタデータ） (2021-03-03T13:39:52Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。