論文の概要: Spatial-SpinDrop: Spatial Dropout-based Binary Bayesian Neural Network with Spintronics Implementation

• arxiv url: http://arxiv.org/abs/2306.10185v1
• Date: Fri, 16 Jun 2023 21:38:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 23:44:01.547203
• Title: Spatial-SpinDrop: Spatial Dropout-based Binary Bayesian Neural Network with Spintronics Implementation
• Title（参考訳）: 空間スピンドロップ:スピントロニクスによる空間ドロップアウトに基づく二元ベイズニューラルネットワーク
• Authors: Soyed Tuhin Ahmed, Kamal Danouchi, Michael Hefenbrock, Guillaume Prenat, Lorena Anghel, Mehdi B. Tahoori
• Abstract要約: 本稿では,スピントロニクスデバイスを備えた空間降下型BayNNであるMC-SpatialDropoutを紹介する。 ネットワーク層当たりのドロップアウトモジュールの数は、9倍の9.11倍の9.11倍の9.11倍のエネルギー消費率で減少するが、それでも同等の性能と不確実性の評価を達成している。
• 参考スコア（独自算出の注目度）: 1.3603499630771996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, machine learning systems have gained prominence in real-time, critical decision-making domains, such as autonomous driving and industrial automation. Their implementations should avoid overconfident predictions through uncertainty estimation. Bayesian Neural Networks (BayNNs) are principled methods for estimating predictive uncertainty. However, their computational costs and power consumption hinder their widespread deployment in edge AI. Utilizing Dropout as an approximation of the posterior distribution, binarizing the parameters of BayNNs, and further to that implementing them in spintronics-based computation-in-memory (CiM) hardware arrays provide can be a viable solution. However, designing hardware Dropout modules for convolutional neural network (CNN) topologies is challenging and expensive, as they may require numerous Dropout modules and need to use spatial information to drop certain elements. In this paper, we introduce MC-SpatialDropout, a spatial dropout-based approximate BayNNs with spintronics emerging devices. Our method utilizes the inherent stochasticity of spintronic devices for efficient implementation of the spatial dropout module compared to existing implementations. Furthermore, the number of dropout modules per network layer is reduced by a factor of $9\times$ and energy consumption by a factor of $94.11\times$, while still achieving comparable predictive performance and uncertainty estimates compared to related works.
• Abstract（参考訳）: 近年,自動運転や産業オートメーションなど,リアルタイムかつ重要な意思決定領域において,機械学習システムが注目されている。 彼らの実装は不確実性推定を通じて過信な予測を避けるべきである。 ベイズニューラルネットワーク(baynns)は、予測の不確実性を推定するための原理的手法である。 しかし、計算コストと消費電力は、エッジAIへの広範な展開を妨げる。 Dropoutを後方分布の近似として利用し、BayNNのパラメータをバイナライズし、さらにそれらをスピントロニクスベースの計算インメモリ(CiM)ハードウェアアレイで実装することは、実現可能なソリューションである。 しかし、畳み込みニューラルネットワーク(cnn)トポロジのためのハードウェアドロップアウトモジュールの設計は、多くのドロップアウトモジュールを必要とし、特定の要素をドロップするために空間情報を使用する必要があるため、困難かつ高価である。 本稿では,スピントロニクスデバイスを備えた空間降下型BayNNであるMC-SpatialDropoutを紹介する。 本手法は,スピントロニクスデバイス固有の確率性を利用して,既存の実装と比較して空間降下モジュールの効率的な実装を行う。 さらに、ネットワーク層毎のドロップアウトモジュール数を9\times$の係数と、エネルギー消費量を94.11\times$の係数で削減すると同時に、関連する作業と比較して予測性能と不確実性が同等に向上する。

関連論文リスト

• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
  本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。 ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。 その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
  論文  参考訳（メタデータ） (2024-07-01T07:00:44Z)
• Testing Spintronics Implemented Monte Carlo Dropout-Based Bayesian Neural Networks [0.7537220883022466]
  ニューラルネットワーク(BayNN)は本質的に予測の不確実性を推定し、情報的な意思決定を容易にする。 ドロップアウトベースのBayNNは、資源制約があるが高性能な安全クリティカルなアプリケーションのために、スピントロニクスベースの計算メモリアーキテクチャで実装されている。 スピントロニクスをベースとしたDropoutモジュールの非理想性をモデル化し,不確実性評価と精度への影響を解析した。
  論文  参考訳（メタデータ） (2024-01-09T09:42:27Z)
• Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale [0.7025445595542577]
  ニューラルネットワーク(NN)の不確実性推定は、特に安全クリティカルなアプリケーションにおいて、予測の信頼性と信頼性を向上させる上で不可欠である。 Dropoutを近似とするBayNNは、不確実性に対する体系的なアプローチを提供するが、本質的には、電力、メモリ、定量化の点で高いハードウェアオーバーヘッドに悩まされている。 提案するBayNNに対して,スピントロニクスメモリベースのCIMアーキテクチャを導入し,最先端技術と比較して100倍以上の省エネを実現した。
  論文  参考訳（メタデータ） (2023-11-27T13:41:20Z)
• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Separable PINN: Mitigating the Curse of Dimensionality in Physics-Informed Neural Networks [6.439575695132489]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆問題の両方に新しいデータ駆動型PDEソルバとして登場した。 自動微分(AD)の計算は、PINNのトレーニングにおいて前方モードADを活用することで大幅に削減できることを示す。 我々は、より効率的な計算のために、前進モードADを容易に行える分離可能なPINN(SPINN)と呼ばれるネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-16T08:46:52Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。