論文の概要: Tiny Deep Ensemble: Uncertainty Estimation in Edge AI Accelerators via Ensembling Normalization Layers with Shared Weights

• arxiv url: http://arxiv.org/abs/2405.05286v1
• Date: Tue, 7 May 2024 22:54:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 15:12:05.317229
• Title: Tiny Deep Ensemble: Uncertainty Estimation in Edge AI Accelerators via Ensembling Normalization Layers with Shared Weights
• Title（参考訳）: Tiny Deep Ensemble: 共有ウェイトによる正規化レイヤのカプセル化によるエッジAIアクセラレータの不確実性推定
• Authors: Soyed Tuhin Ahmed, Michael Hefenbrock, Mehdi B. Tahoori,
• Abstract要約: AI駆動システムでは、不確実性推定により、ユーザーは過信予測を避け、機能的安全性を達成することができる。 エッジデバイスにおける不確実性推定のための低コストなアプローチであるTiny-Deep Ensembleアプローチを提案する。 提案手法は精度を損なわないが,予測精度は最大で$sim 1%$,RMSEは17.17%$である。
• 参考スコア（独自算出の注目度）: 0.8233872344445676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The applications of artificial intelligence (AI) are rapidly evolving, and they are also commonly used in safety-critical domains, such as autonomous driving and medical diagnosis, where functional safety is paramount. In AI-driven systems, uncertainty estimation allows the user to avoid overconfidence predictions and achieve functional safety. Therefore, the robustness and reliability of model predictions can be improved. However, conventional uncertainty estimation methods, such as the deep ensemble method, impose high computation and, accordingly, hardware (latency and energy) overhead because they require the storage and processing of multiple models. Alternatively, Monte Carlo dropout (MC-dropout) methods, although having low memory overhead, necessitate numerous ($\sim 100$) forward passes, leading to high computational overhead and latency. Thus, these approaches are not suitable for battery-powered edge devices with limited computing and memory resources. In this paper, we propose the Tiny-Deep Ensemble approach, a low-cost approach for uncertainty estimation on edge devices. In our approach, only normalization layers are ensembled $M$ times, with all ensemble members sharing common weights and biases, leading to a significant decrease in storage requirements and latency. Moreover, our approach requires only one forward pass in a hardware architecture that allows batch processing for inference and uncertainty estimation. Furthermore, it has approximately the same memory overhead compared to a single model. Therefore, latency and memory overhead are reduced by a factor of up to $\sim M\times$. Nevertheless, our method does not compromise accuracy, with an increase in inference accuracy of up to $\sim 1\%$ and a reduction in RMSE of $17.17\%$ in various benchmark datasets, tasks, and state-of-the-art architectures.
• Abstract（参考訳）: 人工知能(AI)の応用は急速に発展しており、自律運転や医療診断など、機能的安全性が最重要となる安全クリティカルな領域でも一般的に使用されている。 AI駆動システムでは、不確実性推定により、ユーザーは過信予測を避け、機能的安全性を達成することができる。 したがって、モデル予測の堅牢性と信頼性を向上させることができる。 しかし、ディープアンサンブル法のような従来の不確実性推定手法では、複数のモデルの保存と処理を必要とするため、高い計算とハードウェア(遅延とエネルギー)オーバーヘッドが課される。 あるいは、モンテカルロのドロップアウト(MC-dropout)メソッドはメモリオーバーヘッドが低いが、多数の(\sim 100$)フォワードパスを必要とし、高い計算オーバーヘッドとレイテンシをもたらす。 したがって、これらのアプローチは、限られたコンピューティングとメモリ資源を持つバッテリー駆動エッジデバイスには適さない。 本稿では,エッジデバイスにおける不確実性評価のための低コストアプローチであるTiny-Deep Ensembleアプローチを提案する。 このアプローチでは、正規化レイヤのみが100万回アンサンブルされ、すべてのアンサンブルメンバが共通の重みとバイアスを共有し、ストレージ要件とレイテンシが大幅に低下する。 さらに,本手法では,推測および不確実性推定のためのバッチ処理が可能なハードウェアアーキテクチャにおいて,1つのフォワードパスしか必要としない。 さらに、単一のモデルとほぼ同じメモリオーバーヘッドを持つ。 したがって、レイテンシとメモリオーバーヘッドは最大$\sim M\times$で削減される。 しかしながら,提案手法は精度を損なわないため,予測精度は最大$\sim 1\%,RMSEは17.17\%と,様々なベンチマークデータセットやタスク,最先端アーキテクチャで低下する。

関連論文リスト

• Practical, optimal preparation of general quantum state with exponentially improved robustness [5.149586838873632]
  本研究では,従来の手法をバケット・ブリガド方式で克服する。 本手法は,線形Clifford$+T$回路深さ,ゲート数数,時空間割り当てを同時に実現した最初の手法である。 これらの進歩は、短期的およびフォールトトレラントな量子デバイスの両方でビッグデータを処理する機会を提供する。
  論文  参考訳（メタデータ） (2024-11-05T03:48:00Z)
• Few-Shot Testing: Estimating Uncertainty of Memristive Deep Neural Networks Using One Bayesian Test Vector [0.0]
  我々は,memristorベースのCIMハードウェア上に実装されたNNのモデル不確かさを推定できるテストベクトル生成フレームワークを提案する。 提案手法は, 異なるモデル次元, タスク, 故障率, 変動ノイズに基づいて評価し, メモリオーバーヘッドを0.024ドルに抑えながら, 100%のカバレッジを連続的に達成可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-29T08:53:16Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Sample-efficient Learning of Infinite-horizon Average-reward MDPs with General Function Approximation [53.17668583030862]
  一般関数近似の文脈において,無限水平平均逆マルコフ決定過程(AMDP)について検討する。 最適化最適化(LOOP)と呼ばれる新しいアルゴリズムフレームワークを提案する。 我々は LOOP がサブ線形 $tildemathcalO(mathrmpoly(d, mathrmsp(V*)) sqrtTbeta )$ regret を達成することを示す。
  論文  参考訳（メタデータ） (2024-04-19T06:24:22Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• $f$-Cal: Calibrated aleatoric uncertainty estimation from neural networks for robot perception [9.425514903472545]
  既存のアプローチでは、ネットワークアーキテクチャ、推論手順、損失関数を変更することで、ニューラルネットワークの知覚スタックから不確実性を推定する。 私たちの重要な洞察は、キャリブレーションはミニバッチのような複数の例に制約を課すことでのみ達成できるということです。 ニューラルネットワークの出力分布を、$f$-divergenceを最小にすることで、ターゲット分布に類似させることにより、従来のアプローチに比べてはるかに優れた校正モデルが得られる。
  論文  参考訳（メタデータ） (2021-09-28T17:57:58Z)
• Adversarial Robustness Guarantees for Gaussian Processes [22.403365399119107]
  ガウス過程(GP)は、モデルの不確実性の原理的計算を可能にし、安全性に重要なアプリケーションに魅力的です。 境界付き摂動に対するモデル決定の不変性として定義されるGPの対向的堅牢性を分析するためのフレームワークを提案する。 我々は境界を洗練し、任意の$epsilon > 0$に対して、我々のアルゴリズムが有限個の反復で実際の値に$epsilon$-closeの値に収束することを保証していることを示す分岐とバウンドのスキームを開発する。
  論文  参考訳（メタデータ） (2021-04-07T15:14:56Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。