論文の概要: Shift-BNN: Highly-Efficient Probabilistic Bayesian Neural Network Training via Memory-Friendly Pattern Retrieving

• arxiv url: http://arxiv.org/abs/2110.03553v1
• Date: Thu, 7 Oct 2021 15:20:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:23:27.092874
• Title: Shift-BNN: Highly-Efficient Probabilistic Bayesian Neural Network Training via Memory-Friendly Pattern Retrieving
• Title（参考訳）: Shift-BNN:メモリフレンドリーパターン検索による高能率確率ベイズニューラルネットワークトレーニング
• Authors: Qiyu Wan, Haojun Xia, Xingyao Zhang, Lening Wang, Shuaiwen Leon Song, Xin Fu
• Abstract要約: 私たちは、低コストでスケーラブルなShift-BNNと呼ばれる、最初の高効率なBNNトレーニングアクセラレータを設計し、プロトタイプを作りました。 Shift-BNNはエネルギー効率が平均4.9倍(最大10.8倍)向上し、1.6倍(最大2.8倍)のスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 5.043640793217879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Neural Networks (BNNs) that possess a property of uncertainty estimation have been increasingly adopted in a wide range of safety-critical AI applications which demand reliable and robust decision making, e.g., self-driving, rescue robots, medical image diagnosis. The training procedure of a probabilistic BNN model involves training an ensemble of sampled DNN models, which induces orders of magnitude larger volume of data movement than training a single DNN model. In this paper, we reveal that the root cause for BNN training inefficiency originates from the massive off-chip data transfer by Gaussian Random Variables (GRVs). To tackle this challenge, we propose a novel design that eliminates all the off-chip data transfer by GRVs through the reversed shifting of Linear Feedback Shift Registers (LFSRs) without incurring any training accuracy loss. To efficiently support our LFSR reversion strategy at the hardware level, we explore the design space of the current DNN accelerators and identify the optimal computation mapping scheme to best accommodate our strategy. By leveraging this finding, we design and prototype the first highly efficient BNN training accelerator, named Shift-BNN, that is low-cost and scalable. Extensive evaluation on five representative BNN models demonstrates that Shift-BNN achieves an average of 4.9x (up to 10.8x) boost in energy efficiency and 1.6x (up to 2.8x) speedup over the baseline DNN training accelerator.
• Abstract（参考訳）: 不確実性推定の特性を持つベイズニューラルネットワーク(BNN)は、信頼性が高く堅牢な意思決定を必要とする幅広い安全クリティカルなAIアプリケーション、例えば自動運転、救助ロボット、医療画像診断において、ますます採用されている。 確率的BNNモデルのトレーニング手順は、サンプル化されたDNNモデルのアンサンブルを訓練することを含み、単一のDNNモデルのトレーニングよりも膨大な量のデータ移動を誘導する。 本稿では,BNNトレーニングの非効率性の根本原因が,ガウスランダム変数(GRV)による大規模オフチップデータ転送に由来することを明らかにした。 この課題に対処するために,リニアフィードバックシフトレジスタ(LFSR)の逆シフトによるGRVによるオフチップデータ転送を,トレーニング精度を損なうことなく除去する,新しい設計を提案する。 ハードウェアレベルでのLFSR回帰戦略を効率的にサポートするため、我々は現在のDNNアクセラレータの設計空間を探索し、我々の戦略に最適な最適な計算マッピング方式を特定する。 この発見を利用して、我々は、低コストでスケーラブルなShift-BNNと呼ばれる、最初の高効率なBNNトレーニングアクセラレータを設計し、プロトタイプを作成します。 5つの代表的BNNモデルの大規模な評価は、Shift-BNNがエネルギー効率を平均4.9倍(最大10.8倍)向上し、ベースラインDNNトレーニングアクセラレータの1.6倍(最大2.8倍)のスピードアップを達成したことを示している。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Make Me a BNN: A Simple Strategy for Estimating Bayesian Uncertainty from Pre-trained Models [40.38541033389344]
  ディープニューラルネットワーク(Deep Neural Networks, DNN)は、様々なコンピュータビジョンタスクのための強力なツールであるが、信頼性の高い不確実性定量化に苦慮することが多い。 本稿では、DNNをBNNにシームレスに変換するシンプルでスケーラブルな戦略であるAdaptable Bayesian Neural Network (ABNN)を紹介する。 画像分類とセマンティックセグメンテーションタスクのための複数のデータセットにわたる広範囲な実験を行い、ABNNが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-12-23T16:39:24Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Rethinking Pretraining as a Bridge from ANNs to SNNs [13.984523794353477]
  スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。 高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
  論文  参考訳（メタデータ） (2022-03-02T14:59:57Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)
• TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
  本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。 DNNトレーニングのための軽量加速器であるTaxoNNを提案する。 実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
  論文  参考訳（メタデータ） (2020-10-11T09:04:19Z)
• TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems [3.1887081453726136]
  クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面している。 我々は、クロスバーベースハードウェア上でDNNトレーニングを機能的に評価する高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。
  論文  参考訳（メタデータ） (2020-02-25T19:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。