論文の概要: Optimizing data-flow in Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2304.00952v1
• Date: Mon, 3 Apr 2023 13:16:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 15:31:25.358846
• Title: Optimizing data-flow in Binary Neural Networks
• Title（参考訳）: バイナリニューラルネットワークにおけるデータフローの最適化
• Authors: L. Vorabbi, D. Maltoni, S. Santi
• Abstract要約: 本稿では,BNNパイプラインにおけるデータフローと並列性を向上させる新しいトレーニング手法を提案する。 また,ARM命令セットに対するバイナリ直接畳み込みを最適化した実装を提案する。 実験の結果,少なくとも1つの完全精度モデルに対して精度を低下させることなく,推論速度を一貫した改善(最先端の2つのBNNフレームワークと比較して最大1.91と2.73倍)した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary Neural Networks (BNNs) can significantly accelerate the inference time of a neural network by replacing its expensive floating-point arithmetic with bitwise operations. Most existing solutions, however, do not fully optimize data flow through the BNN layers, and intermediate conversions from 1 to 16/32 bits often further hinder efficiency. We propose a novel training scheme that can increase data flow and parallelism in the BNN pipeline; specifically, we introduce a clipping block that decreases the data-width from 32 bits to 8. Furthermore, we reduce the internal accumulator size of a binary layer, usually kept using 32-bit to prevent data overflow without losing accuracy. Additionally, we provide an optimization of the Batch Normalization layer that both reduces latency and simplifies deployment. Finally, we present an optimized implementation of the Binary Direct Convolution for ARM instruction sets. Our experiments show a consistent improvement of the inference speed (up to 1.91 and 2.73x compared to two state-of-the-art BNNs frameworks) with no drop in accuracy for at least one full-precision model.
• Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、高価な浮動小数点演算をビット演算に置き換えることで、ニューラルネットワークの推論時間を著しく加速することができる。 しかし、既存のソリューションの多くはBNN層のデータフローを完全に最適化していないため、1ビットから16/32ビットへの中間変換は効率を損なうことが多い。 我々は,BNNパイプラインにおけるデータフローと並列性を向上する新たなトレーニング手法を提案し,具体的には,データ幅を32ビットから8ビットに削減するクリッピングブロックを提案する。 さらに、通常32ビットで保持されるバイナリ層の内部アキュムレータのサイズを小さくし、精度を損なうことなくデータのオーバーフローを防止する。 さらに、レイテンシを低減し、デプロイを簡単にするBatch Normalizationレイヤの最適化も提供しています。 最後に、ARM命令セットに対するバイナリ直接変換の最適化実装を提案する。 実験の結果,少なくとも1つの完全精度モデルに対して精度を低下させることなく,推論速度を一貫した改善(最先端の2つのBNNフレームワークと比較して最大1.91と2.73倍)した。

関連論文リスト

• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• BBS: Bi-directional Bit-level Sparsity for Deep Learning Acceleration [9.092712730883887]
  ビットレベルのスパーシリティ法は非効率なゼロビット演算をスキップし、通常はビットシリアル深層学習アクセラレーターに適用される。 そこで本研究では,ビットレベル空間の実用性と効率を,新しいアルゴリズムによるビットプルーニング,平均化,圧縮手法により改善する。 ハードウェア面では、低オーバーヘッドでDNNを高速化する効率的なPE設計を備えたビットシリアルアーキテクチャであるBitVertによるBBSの可能性を示す。
  論文  参考訳（メタデータ） (2024-09-08T21:45:12Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)
• SoFAr: Shortcut-based Fractal Architectures for Binary Convolutional Neural Networks [7.753767947048147]
  バイナリ畳み込みニューラルネットワーク(BCNN)に特化して設計された2つのショートカットベースのフラクタルアーキテクチャ(SoFAr)を提案する。 提案するSoFArは,1つの統一モデルによるショートカットとフラクタルアーキテクチャの採用を組み合わせることで,BCNNのトレーニングに有効である。 以上の結果から,提案したSoFArは,ショートカット方式のBCNNに比べて精度がよいことがわかった。
  論文  参考訳（メタデータ） (2020-09-11T10:00:47Z)
• Distillation Guided Residual Learning for Binary Convolutional Neural Networks [83.6169936912264]
  Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。 我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。 性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。 このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
  論文  参考訳（メタデータ） (2020-07-10T07:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。