論文の概要: Hardware-Aware Neural Dropout Search for Reliable Uncertainty Prediction on FPGA
- arxiv url: http://arxiv.org/abs/2406.16198v1
- Date: Sun, 23 Jun 2024 19:33:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 18:34:57.483815
- Title: Hardware-Aware Neural Dropout Search for Reliable Uncertainty Prediction on FPGA
- Title（参考訳）: FPGAにおける信頼性不確実性予測のためのハードウェア対応ニューラルドロップアウト探索
- Authors: Zehuan Zhang, Hongxiang Fan, Hao Mark Chen, Lukasz Dudziak, Wayne Luk,
- Abstract要約: この分野では、ドロップアウトベースのベイズニューラルネットワーク(BayesNN)が顕著であり、確実な不確実性推定を提供する。
既存のドロップアウトベースのベイズNNは、通常、異なる層にまたがる均一なドロップアウト設計を採用しており、亜最適性能をもたらす。
本稿では,ByesNNとFPGA上でのハードウェア実装の両方を自動最適化するニューラルドロップアウト検索フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 11.123116470454079
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing deployment of artificial intelligence (AI) for critical decision-making amplifies the necessity for trustworthy AI, where uncertainty estimation plays a pivotal role in ensuring trustworthiness. Dropout-based Bayesian Neural Networks (BayesNNs) are prominent in this field, offering reliable uncertainty estimates. Despite their effectiveness, existing dropout-based BayesNNs typically employ a uniform dropout design across different layers, leading to suboptimal performance. Moreover, as diverse applications require tailored dropout strategies for optimal performance, manually optimizing dropout configurations for various applications is both error-prone and labor-intensive. To address these challenges, this paper proposes a novel neural dropout search framework that automatically optimizes both the dropout-based BayesNNs and their hardware implementations on FPGA. We leverage one-shot supernet training with an evolutionary algorithm for efficient dropout optimization. A layer-wise dropout search space is introduced to enable the automatic design of dropout-based BayesNNs with heterogeneous dropout configurations. Extensive experiments demonstrate that our proposed framework can effectively find design configurations on the Pareto frontier. Compared to manually-designed dropout-based BayesNNs on GPU, our search approach produces FPGA designs that can achieve up to 33X higher energy efficiency. Compared to state-of-the-art FPGA designs of BayesNN, the solutions from our approach can achieve higher algorithmic performance and energy efficiency.
- Abstract（参考訳）: 重要な意思決定のための人工知能(AI)の展開の増加は、信頼に値するAIの必要性を増幅する。
この分野では、ドロップアウトベースのベイズニューラルネットワーク(BayesNN)が顕著であり、確実な不確実性推定を提供する。
その効果にもかかわらず、既存のドロップアウトベースのベイズNNは、通常、異なる層にまたがる均一なドロップアウト設計を採用しており、亜最適性能をもたらす。
さらに、多様なアプリケーションが最適なパフォーマンスのために調整されたドロップアウト戦略を必要とするため、様々なアプリケーションのために手動でドロップアウト設定を最適化するのは、エラーが原因であり、労力がかかる。
これらの課題に対処するため,本研究では,降車ベースベイズNNとFPGA上でのハードウェア実装の両方を自動最適化するニューラルドロップアウト検索フレームワークを提案する。
我々は、効率的なドロップアウト最適化のために、進化的アルゴリズムを用いてワンショットのスーパーネットトレーニングを利用する。
不均一なドロップアウト構成を持つドロップアウトベースベイズNNの自動設計を可能にするために,レイヤワイドドロップアウト検索空間が導入された。
大規模な実験により,提案するフレームワークがParetoフロンティアの設計構成を効果的に発見できることが実証された。
手動で設計したGPU上のBayesNNと比較して、我々の検索手法は最大33倍のエネルギー効率を実現するFPGA設計を生成する。
ベイズNNの最先端FPGA設計と比較すると,提案手法の解はアルゴリズムの性能とエネルギー効率を向上させることができる。
関連論文リスト
- Enhancing Dropout-based Bayesian Neural Networks with Multi-Exit on FPGA [20.629635991749808]
本稿では,フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータを効率よく生成するアルゴリズムとハードウェアの共同設計フレームワークを提案する。
アルゴリズムレベルでは、計算とメモリのオーバーヘッドを低減した、新しいマルチエグジット・ドロップアウトベースのベイズNNを提案する。
ハードウェアレベルでは,提案する効率的なベイズNNのためのFPGAベースのアクセラレータを生成するための変換フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-20T17:08:42Z) - When Monte-Carlo Dropout Meets Multi-Exit: Optimizing Bayesian Neural
Networks on FPGA [11.648544516949533]
本稿では,モンテカルロ・ドロップアウト(MCD)をベースとした新しいベイズNNを提案する。
我々の自動生成アクセラレーターは、CPU、GPU、その他の最先端ハードウェア実装よりも高いエネルギー効率を達成することを実証した。
論文 参考訳（メタデータ） (2023-08-13T21:42:31Z) - GNN at the Edge: Cost-Efficient Graph Neural Network Processing over
Distributed Edge Servers [24.109721494781592]
グラフニューラルネットワーク(GNN)はまだ探索中であり、その広範な採用に対する大きな違いを示している。
本稿では,多層ヘテロジニアスエッジネットワーク上での分散GNN処理のコスト最適化について検討する。
提案手法は, 高速収束速度で95.8%以上のコスト削減を行い, デファクトベースラインよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2022-10-31T13:03:16Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-22T23:53:14Z) - DEBOSH: Deep Bayesian Shape Optimization [48.80431740983095]
形状最適化に適した不確実性に基づく新しい手法を提案する。
効果的なBOを可能にし、その結果の形状の質を最先端のアプローチを超えて向上させる。
論文 参考訳（メタデータ） (2021-09-28T11:01:42Z) - HALF: Holistic Auto Machine Learning for FPGAs [1.9146960682777232]
ディープニューラルネットワーク(DNN)は、画像や自然言語処理などの組み込みシステムに関連する領域において、複雑な問題を解決することができる。
特定のFPGAプラットフォームにDNNを効率よく実装するためには、例えばエネルギー効率など、膨大な設計パラメータを考慮する必要がある。
FPGA上でのDNN実装の質は, 自動的, 全体的設計手法により大幅に向上する。
論文 参考訳（メタデータ） (2021-06-28T14:45:47Z) - High-Performance FPGA-based Accelerator for Bayesian Neural Networks [5.86877988129171]
本研究は,モンテカルロ・ドロップアウトから推定されるBNNを高速化するFPGAベースのハードウェアアーキテクチャを提案する。
他の最先端のBNN加速器と比較して、提案された加速器は最大で4倍のエネルギー効率と9倍の計算効率を達成することができる。
論文 参考訳（メタデータ） (2021-05-12T06:20:44Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-03-27T00:45:23Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by
Enabling Input-Adaptive Inference [119.19779637025444]
深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。
本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
論文 参考訳（メタデータ） (2020-02-24T00:40:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。