Fugu-MT 論文翻訳(概要): A&B BNN: Add&Bit-Operation-Only Hardware-Friendly Binary Neural Network

論文の概要: A&B BNN: Add&Bit-Operation-Only Hardware-Friendly Binary Neural Network

arxiv url: http://arxiv.org/abs/2403.03739v1
Date: Wed, 6 Mar 2024 14:28:49 GMT
ステータス: 処理完了
システム内更新日: 2024-03-07 14:57:02.015323
Title: A&B BNN: Add&Bit-Operation-Only Hardware-Friendly Binary Neural Network
Title（参考訳）: A&B BNN:Add&Bit-Operation-Only Hardware-Friendly Binary Neural Network
Authors: Ruichen Ma, Guanchao Qiao, Yian Liu, Liwei Meng, Ning Ning, Yang Liu, Shaogang Hu
Abstract要約: A&B BNNは、従来のBNNにおける乗算操作の一部を削除し、残りを同じ数のビット演算で置き換えることを提案する。マスク層は、BNNの固有の特性を活用することにより、推論中に除去することができる。量子化RPReLU構造は、傾きを2の整数パワーに制限することで、より効率的なビット演算を可能にする。
参考スコア（独自算出の注目度）: 5.144744286453014
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Binary neural networks utilize 1-bit quantized weights and activations to reduce both the model's storage demands and computational burden. However, advanced binary architectures still incorporate millions of inefficient and nonhardware-friendly full-precision multiplication operations. A&B BNN is proposed to directly remove part of the multiplication operations in a traditional BNN and replace the rest with an equal number of bit operations, introducing the mask layer and the quantized RPReLU structure based on the normalizer-free network architecture. The mask layer can be removed during inference by leveraging the intrinsic characteristics of BNN with straightforward mathematical transformations to avoid the associated multiplication operations. The quantized RPReLU structure enables more efficient bit operations by constraining its slope to be integer powers of 2. Experimental results achieved 92.30%, 69.35%, and 66.89% on the CIFAR-10, CIFAR-100, and ImageNet datasets, respectively, which are competitive with the state-of-the-art. Ablation studies have verified the efficacy of the quantized RPReLU structure, leading to a 1.14% enhancement on the ImageNet compared to using a fixed slope RLeakyReLU. The proposed add&bit-operation-only BNN offers an innovative approach for hardware-friendly network architecture.
Abstract（参考訳）: バイナリニューラルネットワークは、1ビットの量子化重みとアクティベーションを使用して、モデルのストレージ要求と計算負荷の両方を削減する。しかし、高度なバイナリアーキテクチャには、何百万もの非効率で非ハードウェアフレンドリーな完全精度乗算演算が組み込まれている。 A&B BNNは、従来のBNNにおける乗算演算の一部を直接削除し、残りを同じ数のビット演算に置き換えることを提案し、マスク層と正規化自由ネットワークアーキテクチャに基づく量子化RPReLU構造を導入した。マスク層は、BNNの固有特性を簡単な数学的変換で活用することにより、推論中に取り除くことができ、関連する乗算操作を避けることができる。量子化RPReLU構造は、傾きを2の整数パワーに制限することで、より効率的なビット演算を可能にする。実験結果は、CIFAR-10、CIFAR-100、ImageNetのデータセットでそれぞれ92.30%、69.35%、66.89%を達成した。アブレーション研究により、RPReLUの量子化された構造の有効性が検証され、固定斜面RLeakyReLUに比べて1.14%画像ネットが強化された。提案されているアドオンとビット操作のみのBNNは、ハードウェアフレンドリーなネットワークアーキテクチャに革新的なアプローチを提供する。

関連論文リスト

ReActXGB: A Hybrid Binary Convolutional Neural Network Architecture for Improved Performance and Computational Efficiency [0.0]
我々はReActXGBというハイブリッドモデルを提案し、ReActNet-Aの完全な畳み込み層をXGBoostに置き換える。この修正の目的は、より低い計算コストを維持しながら、BCNNと実数値ネットワークのパフォーマンスギャップを狭めることである。
論文参考訳（メタデータ） (2024-05-11T16:38:50Z)
Basic Binary Convolution Unit for Binarized Image Restoration Network [146.0988597062618]
本研究では,画像復元作業における残差接続,BatchNorm,アクティベーション機能,構造などのバイナリ畳み込みのコンポーネントを再検討する。本研究の成果と分析に基づいて, 単純で効率的な基本二元畳み込みユニット (BBCU) を設計した。我々のBBCUは、他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示しています。
論文参考訳（メタデータ） (2022-10-02T01:54:40Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
Elastic-Link for Binarized Neural Network [9.83865304744923]
ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
論文参考訳（メタデータ） (2021-12-19T13:49:29Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文参考訳（メタデータ） (2021-04-29T05:50:54Z)
Self-Distribution Binary Neural Networks [18.69165083747967]
重みとアクティベーションの両方がバイナリ(すなわち1ビット表現)である2進ニューラルネットワーク(BNN)について研究する。 SD-BNN(Self-Distribution Biinary Neural Network)を提案する。 CIFAR-10とImageNetデータセットの実験では、提案されたSD-BNNは、最先端(SOTA)BNNよりも一貫して優れていた。
論文参考訳（メタデータ） (2021-03-03T13:39:52Z)
FracBNN: Accurate and FPGA-Efficient Binary Neural Networks with Fractional Activations [20.218382369944152]
binary neural network (bnns) は1ビットの重みとアクティベーションを持つ。 BNNはImageNetのような現実的なデータセットの精度がはるかに低い傾向にある。本研究では、BNNの精度を大幅に向上させるために分数活性化を利用するFracBNNを提案する。
論文参考訳（メタデータ） (2020-12-22T17:49:30Z)
FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
論文参考訳（メタデータ） (2020-10-19T08:11:48Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。