論文の概要: Real-time Neural Network Inference on Extremely Weak Devices: Agile Offloading with Explainable AI

• arxiv url: http://arxiv.org/abs/2312.14229v1
• Date: Thu, 21 Dec 2023 17:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 17:15:23.145107
• Title: Real-time Neural Network Inference on Extremely Weak Devices: Agile Offloading with Explainable AI
• Title（参考訳）: 非常に弱いデバイス上でのリアルタイムニューラルネットワーク推論 - 説明可能なaiによるアジャイルオフロード
• Authors: Kai Huang, Wei Gao
• Abstract要約: AgileNNは、弱い組み込みデバイス上でリアルタイムNN推論を実現する、新しいNNオフロード技術である。 実験の結果、AgileNNの推論遅延は既存のスキームの6倍低いことがわかった。
• 参考スコア（独自算出の注目度）: 12.47179973965357
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the wide adoption of AI applications, there is a pressing need of enabling real-time neural network (NN) inference on small embedded devices, but deploying NNs and achieving high performance of NN inference on these small devices is challenging due to their extremely weak capabilities. Although NN partitioning and offloading can contribute to such deployment, they are incapable of minimizing the local costs at embedded devices. Instead, we suggest to address this challenge via agile NN offloading, which migrates the required computations in NN offloading from online inference to offline learning. In this paper, we present AgileNN, a new NN offloading technique that achieves real-time NN inference on weak embedded devices by leveraging eXplainable AI techniques, so as to explicitly enforce feature sparsity during the training phase and minimize the online computation and communication costs. Experiment results show that AgileNN's inference latency is >6x lower than the existing schemes, ensuring that sensory data on embedded devices can be timely consumed. It also reduces the local device's resource consumption by >8x, without impairing the inference accuracy.
• Abstract（参考訳）: aiアプリケーションの普及により、小さな組み込みデバイス上でリアルタイムニューラルネットワーク(nn)推論を可能にする必要性が高まっているが、nnをデプロイし、これらの小さなデバイス上でnn推論の高性能化を実現することは、その非常に弱い機能のために困難である。 NNパーティショニングとオフロードはそのようなデプロイメントに寄与するが、組み込みデバイスのローカルコストを最小限に抑えることはできない。 代わりに、オンライン推論からオフライン学習へ、NNのオフロードに必要な計算を移行するアジャイルNNオフロードを通じて、この問題に対処することを提案する。 本稿では,eXplainable AI技術を利用して,組込みデバイス上でのリアルタイムNN推論を実現する新しいNNオフロード技術であるAgileNNについて述べる。 実験の結果、AgileNNの推論レイテンシは既存のスキームの6倍も低く、組み込みデバイスのセンサデータがタイムリーに消費されることが確認された。 また、推論精度を損なうことなく、ローカルデバイスのリソース消費量を8倍以上削減する。

関連論文リスト

• Survey on Computer Vision Techniques for Internet-of-Things Devices [0.0]
  ディープニューラルネットワーク(Deep Neural Network, DNN)は、コンピュータビジョン問題を解決する最先端技術である。 DNNは最先端の結果を得るために数十億のパラメータと演算を必要とする。 この要件により、DNNは計算量、メモリ、エネルギー不足を極端に増加させ、結果として限られたコンピューティングリソースを持つ小さなバッテリ駆動のIoT(Internet-of-Things)デバイスにデプロイすることが困難になる。
  論文  参考訳（メタデータ） (2023-08-02T03:41:24Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Designing and Training of Lightweight Neural Networks on Edge Devices using Early Halting in Knowledge Distillation [16.74710649245842]
  本稿では,エッジデバイス上での軽量ディープニューラルネットワーク(DNN)の設計と訓練のための新しいアプローチを提案する。 このアプローチでは、利用可能なストレージ、処理速度、許容可能な最大処理時間を考慮する。 本稿では,ネットワーク資源を保存できる新しい早期停止手法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T16:18:24Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Sparsifying Binary Networks [3.8350038566047426]
  バイナリニューラルネットワーク(BNN)は、完全精度のディープニューラルネットワーク(DNN)と同等の精度で複雑なタスクを解く能力を示した。 最近の改善にもかかわらず、非常に限られたリソースを持つ特定のデバイスで不十分な、固定的で制限された圧縮要因に悩まされている。 本稿では,BNNの疎性を導入した新しいモデルとトレーニング手法であるスパースバイナリニューラルネットワーク(SBNN)と,ネットワークの重みをバイナライズする新しい量子化関数を提案する。
  論文  参考訳（メタデータ） (2022-07-11T15:54:41Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• FitAct: Error Resilient Deep Neural Networks via Fine-Grained Post-Trainable Activation Functions [0.05249805590164901]
  ディープニューラルネットワーク(DNN)は、パーソナルヘルスケアデバイスや自動運転車などの安全クリティカルなシステムにますます導入されている。 本稿では,DNNの微粒化後のアクティベーション機能を実装することで,DNNのエラーレジリエンスを高めるための低コストなアプローチであるFitActを提案する。
  論文  参考訳（メタデータ） (2021-12-27T07:07:50Z)
• SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
  textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。 textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-05-13T21:34:55Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。