論文の概要: When Monte-Carlo Dropout Meets Multi-Exit: Optimizing Bayesian Neural
Networks on FPGA
- arxiv url: http://arxiv.org/abs/2308.06849v1
- Date: Sun, 13 Aug 2023 21:42:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 15:06:07.144702
- Title: When Monte-Carlo Dropout Meets Multi-Exit: Optimizing Bayesian Neural
Networks on FPGA
- Title(参考訳): monte-carlo dropoutがマルチエクイットを満たす時: fpga上のベイズ型ニューラルネットワークの最適化
- Authors: Hongxiang Fan and Hao Chen and Liam Castelli and Zhiqiang Que and He
Li and Kenneth Long and Wayne Luk
- Abstract要約: 本稿では,モンテカルロ・ドロップアウト(MCD)をベースとした新しいベイズNNを提案する。
我々の自動生成アクセラレーターは、CPU、GPU、その他の最先端ハードウェア実装よりも高いエネルギー効率を達成することを実証した。
- 参考スコア(独自算出の注目度): 11.648544516949533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian Neural Networks (BayesNNs) have demonstrated their capability of
providing calibrated prediction for safety-critical applications such as
medical imaging and autonomous driving. However, the high algorithmic
complexity and the poor hardware performance of BayesNNs hinder their
deployment in real-life applications. To bridge this gap, this paper proposes a
novel multi-exit Monte-Carlo Dropout (MCD)-based BayesNN that achieves
well-calibrated predictions with low algorithmic complexity. To further reduce
the barrier to adopting BayesNNs, we propose a transformation framework that
can generate FPGA-based accelerators for multi-exit MCD-based BayesNNs. Several
novel optimization techniques are introduced to improve hardware performance.
Our experiments demonstrate that our auto-generated accelerator achieves higher
energy efficiency than CPU, GPU, and other state-of-the-art hardware
implementations.
- Abstract(参考訳): Bayesian Neural Networks (BayesNNs)は、医療画像や自律運転などの安全クリティカルなアプリケーションに対して、校正された予測を提供する能力を示した。
しかし、アルゴリズムの複雑さとベイズNNのハードウェア性能の低さは、実際のアプリケーションへの展開を妨げる。
このギャップを埋めるために,本論文では,アルゴリズムの複雑さを低く抑えた,モンテカルロ・ドロップアウト(MCD)ベースのベイズNNを提案する。
ベイズNNを採用する際の障壁をさらに軽減するために,マルチエグジットMCDベースのベイズNNのためのFPGAベースのアクセラレータを生成する変換フレームワークを提案する。
ハードウェア性能を改善するためにいくつかの新しい最適化技術が導入されている。
我々の自動生成アクセラレーターは、CPU、GPU、その他の最先端ハードウェア実装よりも高いエネルギー効率を達成することを実証した。
関連論文リスト
- SupeRBNN: Randomized Binary Neural Network Using Adiabatic
Superconductor Josephson Devices [44.440915387556544]
AQFPデバイスはバイナリニューラルネットワーク(BNN)計算の優れたキャリアとして機能する。
本稿では,AQFPに基づくランダム化BNNアクセラレーションフレームワークSupeRBNNを提案する。
本稿では,ReRAMベースのBNNフレームワークのエネルギー効率を約7.8×104倍に向上することを示す。
論文 参考訳(メタデータ) (2023-09-21T16:14:42Z) - Mitigating Memory Wall Effects in CNN Engines with On-the-Fly Weights
Generation [13.681095158525514]
unzipFPGAは、既存のCNNエンジンの制限に対応する新しいCNN推論システムである。
そこで本研究では,オンザフライでの重み生成を可能にする重み生成モジュールを提案する。
さらに,対象のCNNデバイス対に重み生成機構を調整したハードウェア・アウェア自動手法により,unzipFPGAをさらに強化する。
論文 参考訳(メタデータ) (2023-07-25T11:19:21Z) - Exploiting FPGA Capabilities for Accelerated Biomedical Computing [0.0]
本研究では、フィールドプログラマブルゲートアレイ(FPGA)を用いたECG信号解析のための高度なニューラルネットワークアーキテクチャを提案する。
我々は、トレーニングと検証にMIT-BIH Arrhythmia Databaseを使用し、堅牢性を改善するためにガウスノイズを導入した。
この研究は最終的に、様々なアプリケーションのためのFPGA上でのニューラルネットワーク性能を最適化するためのガイドを提供する。
論文 参考訳(メタデータ) (2023-07-16T01:20:17Z) - Reconfigurable Distributed FPGA Cluster Design for Deep Learning
Accelerators [59.11160990637615]
エッジコンピューティングアプリケーション用に設計された低消費電力組み込みFPGAに基づく分散システムを提案する。
提案システムは,様々なニューラルネットワーク(NN)モデルを同時に実行し,パイプライン構造にグラフを配置し,NNグラフの最も計算集約的な層により大きなリソースを手動で割り当てる。
論文 参考訳(メタデータ) (2023-05-24T16:08:55Z) - End-to-end codesign of Hessian-aware quantized neural networks for FPGAs
and ASICs [49.358119307844035]
我々は、共設計ニューラルネットワーク(NN)のトレーニングと実装のためのエンドツーエンドワークフローを開発する。
これにより、ハードウェアにおける効率的なNN実装が、非専門家に、単一のオープンソースワークフローでアクセスできるようになる。
大型ハドロン衝突型加速器(LHC)の40MHz衝突速度で動作しなければならないトリガー決定を含む粒子物理学アプリケーションにおけるワークフローを実演する。
シミュレーションLHC陽子-陽子衝突における高速粒子ジェット用混合精度NNを実装した。
論文 参考訳(メタデータ) (2023-04-13T18:00:01Z) - Decomposition of Matrix Product States into Shallow Quantum Circuits [62.5210028594015]
テンソルネットワーク(TN)アルゴリズムは、パラメタライズド量子回路(PQC)にマッピングできる
本稿では,現実的な量子回路を用いてTN状態を近似する新しいプロトコルを提案する。
その結果、量子回路の逐次的な成長と最適化を含む1つの特定のプロトコルが、他の全ての手法より優れていることが明らかとなった。
論文 参考訳(メタデータ) (2022-09-01T17:08:41Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - High-Performance FPGA-based Accelerator for Bayesian Recurrent Neural
Networks [2.0631735969348064]
本稿では,ベイジアンLSTMベースのRNNを高速化するFPGAベースのハードウェア設計を提案する。
GPU実装と比較して、FPGAベースの設計では、最大106倍のエネルギー効率で10倍のスピードアップを実現できます。
論文 参考訳(メタデータ) (2021-06-04T14:30:39Z) - High-Performance FPGA-based Accelerator for Bayesian Neural Networks [5.86877988129171]
本研究は,モンテカルロ・ドロップアウトから推定されるBNNを高速化するFPGAベースのハードウェアアーキテクチャを提案する。
他の最先端のBNN加速器と比較して、提案された加速器は最大で4倍のエネルギー効率と9倍の計算効率を達成することができる。
論文 参考訳(メタデータ) (2021-05-12T06:20:44Z) - Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。
本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。
本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
論文 参考訳(メタデータ) (2020-06-18T14:24:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。