論文の概要: High-Performance FPGA-based Accelerator for Bayesian Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2106.06048v1
• Date: Fri, 4 Jun 2021 14:30:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-20 16:07:12.201255
• Title: High-Performance FPGA-based Accelerator for Bayesian Recurrent Neural Networks
• Title（参考訳）: ベイジアンリカレントニューラルネットワークのための高性能FPGAベース加速器
• Authors: Martin Ferianc, Zhiqiang Que, Hongxiang Fan, Wayne Luk and Miguel Rodrigues
• Abstract要約: 本稿では,ベイジアンLSTMベースのRNNを高速化するFPGAベースのハードウェア設計を提案する。 GPU実装と比較して、FPGAベースの設計では、最大106倍のエネルギー効率で10倍のスピードアップを実現できます。
• 参考スコア（独自算出の注目度）: 2.0631735969348064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have demonstrated their great performance in a wide range of tasks. Especially in time-series analysis, recurrent architectures based on long-short term memory (LSTM) cells have manifested excellent capability to model time dependencies in real-world data. However, standard recurrent architectures cannot estimate their uncertainty which is essential for safety-critical applications such as in medicine. In contrast, Bayesian recurrent neural networks (RNNs) are able to provide uncertainty estimation with improved accuracy. Nonetheless, Bayesian RNNs are computationally and memory demanding, which limits their practicality despite their advantages. To address this issue, we propose an FPGA-based hardware design to accelerate Bayesian LSTM-based RNNs. To further improve the overall algorithmic-hardware performance, a co-design framework is proposed to explore the most optimal algorithmic-hardware configurations for Bayesian RNNs. We conduct extensive experiments on health-related tasks to demonstrate the improvement of our design and the effectiveness of our framework. Compared with GPU implementation, our FPGA-based design can achieve up to 10 times speedup with nearly 106 times higher energy efficiency. To the best of our knowledge, this is the first work targeting the acceleration of Bayesian RNNs on FPGAs.
• Abstract（参考訳）: ニューラルネットワークは、幅広いタスクでその優れたパフォーマンスを実証しました。 特に時系列解析では,Long-ShortTerm memory (LSTM) セルをベースとした繰り返しアーキテクチャが,実世界のデータにおける時間依存性をモデル化する能力に優れていた。 しかし、医療などの安全クリティカルな応用に欠かせない不確実性は、標準的な繰り返しアーキテクチャでは評価できない。 対照的に、ベイジアンリカレントニューラルネットワーク(RNN)は、精度を向上して不確実性推定を提供することができる。 それにもかかわらず、ベイジアン RNN は計算量とメモリ需要があり、その利点にもかかわらず実用性を制限している。 この問題に対処するために,ベイズLSTMベースのRNNを高速化するFPGAベースのハードウェア設計を提案する。 アルゴリズム・ハードウエアの全体的な性能を改善するため,ベイズRNNのアルゴリズム・ハードウエアの最適構成を探索する共同設計フレームワークを提案する。 我々は,健康関連課題に関する広範な実験を行い,デザインの改善と枠組みの有効性を実証した。 GPU実装と比較して、FPGAベースの設計では、最大106倍のエネルギー効率で10倍のスピードアップを実現できます。 我々の知る限りでは、FPGA上でのベイズRNNの加速を目的とした最初の研究である。

関連論文リスト

• Enhancing Dropout-based Bayesian Neural Networks with Multi-Exit on FPGA [20.629635991749808]
  本稿では,フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータを効率よく生成するアルゴリズムとハードウェアの共同設計フレームワークを提案する。 アルゴリズムレベルでは、計算とメモリのオーバーヘッドを低減した、新しいマルチエグジット・ドロップアウトベースのベイズNNを提案する。 ハードウェアレベルでは,提案する効率的なベイズNNのためのFPGAベースのアクセラレータを生成するための変換フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-20T17:08:42Z)
• SupeRBNN: Randomized Binary Neural Network Using Adiabatic Superconductor Josephson Devices [44.440915387556544]
  AQFPデバイスはバイナリニューラルネットワーク(BNN)計算の優れたキャリアとして機能する。 本稿では,AQFPに基づくランダム化BNNアクセラレーションフレームワークSupeRBNNを提案する。 本稿では,ReRAMベースのBNNフレームワークのエネルギー効率を約7.8×104倍に向上することを示す。
  論文  参考訳（メタデータ） (2023-09-21T16:14:42Z)
• When Monte-Carlo Dropout Meets Multi-Exit: Optimizing Bayesian Neural Networks on FPGA [11.648544516949533]
  本稿では,モンテカルロ・ドロップアウト(MCD)をベースとした新しいベイズNNを提案する。 我々の自動生成アクセラレーターは、CPU、GPU、その他の最先端ハードウェア実装よりも高いエネルギー効率を達成することを実証した。
  論文  参考訳（メタデータ） (2023-08-13T21:42:31Z)
• Exploiting FPGA Capabilities for Accelerated Biomedical Computing [0.0]
  本研究では、フィールドプログラマブルゲートアレイ(FPGA)を用いたECG信号解析のための高度なニューラルネットワークアーキテクチャを提案する。 我々は、トレーニングと検証にMIT-BIH Arrhythmia Databaseを使用し、堅牢性を改善するためにガウスノイズを導入した。 この研究は最終的に、様々なアプリケーションのためのFPGA上でのニューラルネットワーク性能を最適化するためのガイドを提供する。
  論文  参考訳（メタデータ） (2023-07-16T01:20:17Z)
• Reconfigurable Distributed FPGA Cluster Design for Deep Learning Accelerators [59.11160990637615]
  エッジコンピューティングアプリケーション用に設計された低消費電力組み込みFPGAに基づく分散システムを提案する。 提案システムは,様々なニューラルネットワーク(NN)モデルを同時に実行し,パイプライン構造にグラフを配置し,NNグラフの最も計算集約的な層により大きなリソースを手動で割り当てる。
  論文  参考訳（メタデータ） (2023-05-24T16:08:55Z)
• End-to-end codesign of Hessian-aware quantized neural networks for FPGAs and ASICs [49.358119307844035]
  我々は、共設計ニューラルネットワーク(NN)のトレーニングと実装のためのエンドツーエンドワークフローを開発する。 これにより、ハードウェアにおける効率的なNN実装が、非専門家に、単一のオープンソースワークフローでアクセスできるようになる。 大型ハドロン衝突型加速器(LHC)の40MHz衝突速度で動作しなければならないトリガー決定を含む粒子物理学アプリケーションにおけるワークフローを実演する。 シミュレーションLHC陽子-陽子衝突における高速粒子ジェット用混合精度NNを実装した。
  論文  参考訳（メタデータ） (2023-04-13T18:00:01Z)
• LL-GNN: Low Latency Graph Neural Networks on FPGAs for High Energy Physics [45.666822327616046]
  本研究は,粒子検出器のための低グラフニューラルネットワーク(LL-GNN)設計のための新しい再構成可能なアーキテクチャを提案する。 LL-GNNの設計は、洗練されたアルゴリズムが実験データを効率的に処理できるようにすることで、次世代のトリガーシステムを進化させる。
  論文  参考訳（メタデータ） (2022-09-28T12:55:35Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• High-Performance FPGA-based Accelerator for Bayesian Neural Networks [5.86877988129171]
  本研究は,モンテカルロ・ドロップアウトから推定されるBNNを高速化するFPGAベースのハードウェアアーキテクチャを提案する。 他の最先端のBNN加速器と比較して、提案された加速器は最大で4倍のエネルギー効率と9倍の計算効率を達成することができる。
  論文  参考訳（メタデータ） (2021-05-12T06:20:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。