論文の概要: FracBNN: Accurate and FPGA-Efficient Binary Neural Networks with Fractional Activations

• arxiv url: http://arxiv.org/abs/2012.12206v1
• Date: Tue, 22 Dec 2020 17:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 07:39:14.966794
• Title: FracBNN: Accurate and FPGA-Efficient Binary Neural Networks with Fractional Activations
• Title（参考訳）: FracBNN: フラクショナルアクティベーションを持つFPGA効率の良い2元ニューラルネットワーク
• Authors: Yichi Zhang and Junhao Pan and Xinheng Liu and Hongzheng Chen and Deming Chen and Zhiru Zhang
• Abstract要約: binary neural network (bnns) は1ビットの重みとアクティベーションを持つ。 BNNはImageNetのような現実的なデータセットの精度がはるかに低い傾向にある。 本研究では、BNNの精度を大幅に向上させるために分数活性化を利用するFracBNNを提案する。
• 参考スコア（独自算出の注目度）: 20.218382369944152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary neural networks (BNNs) have 1-bit weights and activations. Such networks are well suited for FPGAs, as their dominant computations are bitwise arithmetic and the memory requirement is also significantly reduced. However, compared to start-of-the-art compact convolutional neural network (CNN) models, BNNs tend to produce a much lower accuracy on realistic datasets such as ImageNet. In addition, the input layer of BNNs has gradually become a major compute bottleneck, because it is conventionally excluded from binarization to avoid a large accuracy loss. This work proposes FracBNN, which exploits fractional activations to substantially improve the accuracy of BNNs. Specifically, our approach employs a dual-precision activation scheme to compute features with up to two bits, using an additional sparse binary convolution. We further binarize the input layer using a novel thermometer encoding. Overall, FracBNN preserves the key benefits of conventional BNNs, where all convolutional layers are computed in pure binary MAC operations (BMACs). We design an efficient FPGA-based accelerator for our novel BNN model that supports the fractional activations. To evaluate the performance of FracBNN under a resource-constrained scenario, we implement the entire optimized network architecture on an embedded FPGA (Xilinx Ultra96v2). Our experiments on ImageNet show that FracBNN achieves an accuracy comparable to MobileNetV2, surpassing the best-known BNN design on FPGAs with an increase of 28.9% in top-1 accuracy and a 2.5x reduction in model size. FracBNN also outperforms a recently introduced BNN model with an increase of 2.4% in top-1 accuracy while using the same model size. On the embedded FPGA device, FracBNN demonstrates the ability of real-time image classification.
• Abstract（参考訳）: binary neural network (bnns) は1ビットの重みとアクティベーションを持つ。 このようなネットワークはFPGAに適しており、その支配的な計算はビット演算であり、メモリ要求も大幅に削減される。 しかしながら、最先端のコンパクト畳み込みニューラルネットワーク(CNN)モデルと比較して、BNNはImageNetのような現実的なデータセットよりもはるかに精度が低い傾向にある。 さらに、BNNの入力層は、従来は二項化から除外され、大きな精度損失を避けるため、徐々に大きな計算ボトルネックとなっている。 本研究は,BNNの精度を大幅に向上させるために,FracBNNを提案する。 具体的には、2ビットまでの機能を2倍精度で計算するために2倍精度のアクティベーションスキームを用いる。 我々は、新しい温度計エンコーディングを用いて入力層をさらにバイナライズする。 全体として、FracBNNは、すべての畳み込み層が純粋なバイナリMAC操作(BMAC)で計算される従来のBNNの重要な利点を保っている。 我々は、分数活性化をサポートする新しいBNNモデルのためのFPGAベースの効率的なアクセラレータを設計する。 資源制約シナリオ下でのFracBNNの性能を評価するため,組み込みFPGA(Xilinx Ultra96v2)上に最適化されたネットワークアーキテクチャを実装した。 ImageNet上での実験では、FracBNNがMobileNetV2に匹敵する精度を達成し、FPGA上で最もよく知られているBNN設計を上回り、トップ1の精度が28.9%向上し、モデルサイズが2.5倍削減された。 FracBNNは、最近導入されたBNNモデルでも、同じモデルサイズを使用しながら、トップ1の精度が2.4%向上している。 組み込みFPGAデバイス上でFracBNNはリアルタイム画像分類機能を示す。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Binary domain generalization for sparsifying binary neural networks [3.2462411268263964]
  バイナリニューラルネットワーク(BNN)は、リソース制約のあるデバイスにおいて、ディープニューラルネットワーク(DNN)ベースのアプリケーションを開発、デプロイするための魅力的なソリューションである。 BNNの軽量プルーニングは性能劣化を招き、BNNの標準バイナライズドメインがタスクに適していないことを示唆している。 この研究は、プルーニング技術に対してより堅牢な標準バイナリドメインを拡張した、より一般的なバイナリドメインを提案する。
  論文  参考訳（メタデータ） (2023-06-23T14:32:16Z)
• An Optical XNOR-Bitcount Based Accelerator for Efficient Inference of Binary Neural Networks [0.0]
  単一MRRを用いた光XNORゲート(OXG)を発明する 我々は光電荷蓄積器(PCA)と呼ばれるビットカウント回路の新規設計を提案する。 最新の4つのBNNを推定すると、OXBNNはFPS(F frames-per-second)とFPS/W(エネルギー効率)において最大62倍と7.6倍の改善を実現していることがわかる。
  論文  参考訳（メタデータ） (2023-02-03T20:56:01Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Elastic-Link for Binarized Neural Network [9.83865304744923]
  ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-12-19T13:49:29Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)
• Distillation Guided Residual Learning for Binary Convolutional Neural Networks [83.6169936912264]
  Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。 我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。 性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。 このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
  論文  参考訳（メタデータ） (2020-07-10T07:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。