論文の概要: MC-CIM: Compute-in-Memory with Monte-Carlo Dropouts for Bayesian Edge Intelligence

• arxiv url: http://arxiv.org/abs/2111.07125v1
• Date: Sat, 13 Nov 2021 14:50:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-17 13:25:02.838008
• Title: MC-CIM: Compute-in-Memory with Monte-Carlo Dropouts for Bayesian Edge Intelligence
• Title（参考訳）: MC-CIM: ベイジアンエッジインテリジェンスのためのモンテカルロドロップアウトを用いた計算メモリ
• Authors: Priyesh Shukla, Shamma Nasrin, Nastaran Darabi, Wilfred Gomes, and Amit Ranjan Trivedi
• Abstract要約: 我々は,堅牢で低消費電力なベイズエッジインテリジェンスのための計算インメモリフレームワークであるMC-CIMを提案する。 モンテカルロ・ドロップアウト(MC-Dropout)を用いたベイズDNNの近似は,計算複雑性の低下とともに高いロバスト性を示した。 提案手法はMC-CIMが課した非理想性の中で確実に予測信頼性を与える。
• 参考スコア（独自算出の注目度）: 0.440401067183266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose MC-CIM, a compute-in-memory (CIM) framework for robust, yet low power, Bayesian edge intelligence. Deep neural networks (DNN) with deterministic weights cannot express their prediction uncertainties, thereby pose critical risks for applications where the consequences of mispredictions are fatal such as surgical robotics. To address this limitation, Bayesian inference of a DNN has gained attention. Using Bayesian inference, not only the prediction itself, but the prediction confidence can also be extracted for planning risk-aware actions. However, Bayesian inference of a DNN is computationally expensive, ill-suited for real-time and/or edge deployment. An approximation to Bayesian DNN using Monte Carlo Dropout (MC-Dropout) has shown high robustness along with low computational complexity. Enhancing the computational efficiency of the method, we discuss a novel CIM module that can perform in-memory probabilistic dropout in addition to in-memory weight-input scalar product to support the method. We also propose a compute-reuse reformulation of MC-Dropout where each successive instance can utilize the product-sum computations from the previous iteration. Even more, we discuss how the random instances can be optimally ordered to minimize the overall MC-Dropout workload by exploiting combinatorial optimization methods. Application of the proposed CIM-based MC-Dropout execution is discussed for MNIST character recognition and visual odometry (VO) of autonomous drones. The framework reliably gives prediction confidence amidst non-idealities imposed by MC-CIM to a good extent. Proposed MC-CIM with 16x31 SRAM array, 0.85 V supply, 16nm low-standby power (LSTP) technology consumes 27.8 pJ for 30 MC-Dropout instances of probabilistic inference in its most optimal computing and peripheral configuration, saving 43% energy compared to typical execution.
• Abstract（参考訳）: 我々は,強靭だが低消費電力,ベイズエッジインテリジェンスのためのCIMフレームワークであるMC-CIMを提案する。 決定論的重みを持つディープニューラルネットワーク(DNN)は、予測の不確実性を表現できないため、手術ロボティクスのような誤予測の結果が致命的なアプリケーションに重大なリスクをもたらす。 この制限に対処するため、ベイジアンによるDNNの推測が注目されている。 ベイズ推論を用いることで、予測自体だけでなく、リスク対応を計画するための予測信頼度も抽出できる。 しかし、DNNのベイジアン推定は計算コストが高く、リアルタイムおよび/またはエッジデプロイメントには適さない。 モンテカルロ・ドロップアウト(MC-Dropout)を用いたベイズDNNの近似は,計算複雑性の低下とともに高いロバスト性を示した。 本手法の計算効率を向上させるために,メモリ内重み入力スカラー製品に加えて,メモリ内確率的ドロップアウトが可能な新しいcimモジュールを提案する。 また, MC-Dropout の計算再利用による再計算も提案する。 さらに、組合せ最適化手法を活用し、ランダムインスタンスを最適に順序付けしてmc-dropout全体のワークロードを最小化する方法についても論じる。 提案したCIMに基づくMC-Dropout実行のMNIST文字認識と自律ドローンの視覚的オドメトリー(VO)への適用について論じる。 この枠組みは、MC-CIMが課した非イデオロギーの中で、確実に予測信頼性を与える。 16x31 SRAMアレイ、0.85Vサプライ、16nm低待機電力(LSTP)技術が提案されたMC-CIMは、最も最適な計算と周辺構成における確率的推論の27.8 pJを消費し、典型的な実行に比べて43%のエネルギーを節約している。

関連論文リスト

• Enhancing Reliability of Neural Networks at the Edge: Inverted Normalization with Stochastic Affine Transformations [0.22499166814992438]
  インメモリコンピューティングアーキテクチャに実装されたBayNNのロバスト性と推論精度を本質的に向上する手法を提案する。 実証的な結果は推論精度の優雅な低下を示し、最大で58.11%の値で改善された。
  論文  参考訳（メタデータ） (2024-01-23T00:27:31Z)
• Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale [0.7025445595542577]
  ニューラルネットワーク(NN)の不確実性推定は、特に安全クリティカルなアプリケーションにおいて、予測の信頼性と信頼性を向上させる上で不可欠である。 Dropoutを近似とするBayNNは、不確実性に対する体系的なアプローチを提供するが、本質的には、電力、メモリ、定量化の点で高いハードウェアオーバーヘッドに悩まされている。 提案するBayNNに対して,スピントロニクスメモリベースのCIMアーキテクチャを導入し,最先端技術と比較して100倍以上の省エネを実現した。
  論文  参考訳（メタデータ） (2023-11-27T13:41:20Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Efficient Privacy-Preserving Convolutional Spiking Neural Networks with FHE [1.437446768735628]
  ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。 FHEは連続非ポリノミカル関数の処理に制限がある。 準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。 FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
  論文  参考訳（メタデータ） (2023-09-16T15:37:18Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
  本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。 本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。 大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
  論文  参考訳（メタデータ） (2023-09-01T18:02:04Z)
• On the optimization and pruning for Bayesian deep learning [1.0152838128195467]
  重み空間上でニューラルネットワークを学習するための適応型変分ベイズアルゴリズムを提案する。 EM-MCMCアルゴリズムにより,ワンショットで最適化とモデルプルーニングを行うことができる。 我々の密度モデルは最先端の性能に到達でき、スパースモデルは以前提案したプルーニング方式と比較して非常によく機能する。
  論文  参考訳（メタデータ） (2022-10-24T05:18:08Z)
• Rapid Risk Minimization with Bayesian Models Through Deep Learning Approximation [9.93116974480156]
  本稿では,ベイズモデル (BM) とニューラルネットワーク (NN) を組み合わせて,予測を最小限のリスクで行う手法を提案する。 私たちのアプローチは、BMのデータ効率と解釈可能性とNNの速度を組み合わせます。 テストデータセットに無視できる損失がある標準手法よりも、リスク最小限の予測をはるかに高速に達成する。
  論文  参考訳（メタデータ） (2021-03-29T15:08:25Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。