論文の概要: Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale

• arxiv url: http://arxiv.org/abs/2311.15816v2
• Date: Thu, 11 Jan 2024 12:46:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-13 03:07:55.828964
• Title: Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale
• Title（参考訳）: スケールドロップアウト:確率スケールを用いたディープニューラルネットワークの不確かさ推定
• Authors: Soyed Tuhin Ahmed, Kamal Danouchi, Michael Hefenbrock, Guillaume Prenat, Lorena Anghel, Mehdi B. Tahoori
• Abstract要約: ニューラルネットワーク(NN)の不確実性推定は、特に安全クリティカルなアプリケーションにおいて、予測の信頼性と信頼性を向上させる上で不可欠である。 Dropoutを近似とするBayNNは、不確実性に対する体系的なアプローチを提供するが、本質的には、電力、メモリ、定量化の点で高いハードウェアオーバーヘッドに悩まされている。 提案するBayNNに対して,スピントロニクスメモリベースのCIMアーキテクチャを導入し,最先端技術と比較して100倍以上の省エネを実現した。
• 参考スコア（独自算出の注目度）: 0.7025445595542577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty estimation in Neural Networks (NNs) is vital in improving reliability and confidence in predictions, particularly in safety-critical applications. Bayesian Neural Networks (BayNNs) with Dropout as an approximation offer a systematic approach to quantifying uncertainty, but they inherently suffer from high hardware overhead in terms of power, memory, and computation. Thus, the applicability of BayNNs to edge devices with limited resources or to high-performance applications is challenging. Some of the inherent costs of BayNNs can be reduced by accelerating them in hardware on a Computation-In-Memory (CIM) architecture with spintronic memories and binarizing their parameters. However, numerous stochastic units are required to implement conventional dropout-based BayNN. In this paper, we propose the Scale Dropout, a novel regularization technique for Binary Neural Networks (BNNs), and Monte Carlo-Scale Dropout (MC-Scale Dropout)-based BayNNs for efficient uncertainty estimation. Our approach requires only one stochastic unit for the entire model, irrespective of the model size, leading to a highly scalable Bayesian NN. Furthermore, we introduce a novel Spintronic memory-based CIM architecture for the proposed BayNN that achieves more than $100\times$ energy savings compared to the state-of-the-art. We validated our method to show up to a $1\%$ improvement in predictive performance and superior uncertainty estimates compared to related works.
• Abstract（参考訳）: ニューラルネットワーク(NN)の不確実性推定は、特に安全クリティカルなアプリケーションにおいて、予測の信頼性と信頼性を向上させる上で不可欠である。 近似としてドロップアウトを持つベイズニューラルネットワーク(baynns)は、不確かさを定量化する体系的なアプローチを提供するが、本質的には、電力、メモリ、計算の面で高いハードウェアオーバーヘッドを被る。 したがって、限られたリソースを持つエッジデバイスや高性能アプリケーションにベイNNを適用することは困難である。 BayNNの固有のコストのいくつかは、スピントロニックメモリを備えた計算メモリ(CIM)アーキテクチャ上でハードウェアで高速化し、パラメータをバイナライズすることで削減することができる。 しかし、従来のドロップアウトベースのBayNNの実装には多くの確率的ユニットが必要である。 本稿では,BNN(Binary Neural Networks)の新たな正規化手法であるScale Dropoutと,MC-Scale Dropout(MC-Scale Dropout)をベースとしたBayNNを提案する。 提案手法では,モデルのサイズに関わらず,モデル全体の確率単位を1つだけ必要としており,非常にスケーラブルなベイズNNが実現している。 さらに,提案するBayNN用のスピントロニクスメモリベースのCIMアーキテクチャを導入し,最先端技術と比較して100ドル以上の省エネを実現した。 提案手法を検証し,予測性能の最大1～%改善と,関連する作業と比較して不確実性推定が優れていることを示した。

関連論文リスト

• Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
  本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。 ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。 その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
  論文  参考訳（メタデータ） (2024-07-01T07:00:44Z)
• Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
  我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。 本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。 本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
  論文  参考訳（メタデータ） (2024-06-28T03:10:36Z)
• Enhancing Reliability of Neural Networks at the Edge: Inverted Normalization with Stochastic Affine Transformations [0.22499166814992438]
  インメモリコンピューティングアーキテクチャに実装されたBayNNのロバスト性と推論精度を本質的に向上する手法を提案する。 実証的な結果は推論精度の優雅な低下を示し、最大で58.11%の値で改善された。
  論文  参考訳（メタデータ） (2024-01-23T00:27:31Z)
• Testing Spintronics Implemented Monte Carlo Dropout-Based Bayesian Neural Networks [0.7537220883022466]
  ニューラルネットワーク(BayNN)は本質的に予測の不確実性を推定し、情報的な意思決定を容易にする。 ドロップアウトベースのBayNNは、資源制約があるが高性能な安全クリティカルなアプリケーションのために、スピントロニクスベースの計算メモリアーキテクチャで実装されている。 スピントロニクスをベースとしたDropoutモジュールの非理想性をモデル化し,不確実性評価と精度への影響を解析した。
  論文  参考訳（メタデータ） (2024-01-09T09:42:27Z)
• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Spatial-SpinDrop: Spatial Dropout-based Binary Bayesian Neural Network with Spintronics Implementation [1.3603499630771996]
  本稿では,スピントロニクスデバイスを備えた空間降下型BayNNであるMC-SpatialDropoutを紹介する。 ネットワーク層当たりのドロップアウトモジュールの数は、9倍の9.11倍の9.11倍の9.11倍のエネルギー消費率で減少するが、それでも同等の性能と不確実性の評価を達成している。
  論文  参考訳（メタデータ） (2023-06-16T21:38:13Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• Neural Networks and Value at Risk [59.85784504799224]
  リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。 株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。 はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
  論文  参考訳（メタデータ） (2020-05-04T17:41:59Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。