論文の概要: SpikeBottleNet: Energy Efficient Spike Neural Network Partitioning for Feature Compression in Device-Edge Co-Inference Systems
- arxiv url: http://arxiv.org/abs/2410.08673v1
- Date: Fri, 11 Oct 2024 09:59:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 13:31:57.561088
- Title: SpikeBottleNet: Energy Efficient Spike Neural Network Partitioning for Feature Compression in Device-Edge Co-Inference Systems
- Title(参考訳): SpikeBottleNet:デバイスエッジ共推論システムにおける特徴圧縮のためのエネルギー効率の良いスパイクニューラルネットワーク分割
- Authors: Maruf Hassan, Steven Davy,
- Abstract要約: デバイスエッジコ推論フレームワークは、モバイルデバイスと近くのエッジサーバとの間にディープニューラルネットワークを分割する。
このアプローチではデバイス上の計算と通信コストのバランスをとる必要がある。
本稿では,SNNを統合することで既存のアーキテクチャを大幅に改善する,SpikeBottleNetという新しいアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 0.86325068644655
- License:
- Abstract: The advent of intelligent mobile applications highlights the crucial demand for deploying powerful deep learning models on resource-constrained mobile devices. An effective solution in this context is the device-edge co-inference framework, which partitions a deep neural network between a mobile device and a nearby edge server. This approach requires balancing on-device computations and communication costs, often achieved through compressed intermediate feature transmission. Conventional deep neural network architectures require continuous data processing, leading to substantial energy consumption by edge devices. This motivates exploring binary, event-driven activations enabled by spiking neural networks (SNNs), known for their extremely energy efficiency. In this research, we propose a novel architecture named SpikeBottleNet, a significant improvement to the existing architecture by integrating SNNs. A key aspect of our investigation is the development of an intermediate feature compression technique specifically designed for SNNs. This technique leverages a split computing approach for SNNs to partition complex architectures, such as Spike ResNet50. By incorporating the power of SNNs within device-edge co-inference systems, experimental results demonstrate that our SpikeBottleNet achieves a significant bit compression ratio of up to 256x in the final convolutional layer while maintaining high classification accuracy with only a 2.5% reduction. Moreover, compared to the baseline BottleNet++ architecture, our framework reduces the transmitted feature size at earlier splitting points by 75%. Furthermore, in terms of the energy efficiency of edge devices, our methodology surpasses the baseline by a factor of up to 98, demonstrating significant enhancements in both efficiency and performance.
- Abstract(参考訳): インテリジェントなモバイルアプリケーションの出現は、リソース制約のあるモバイルデバイスに強力なディープラーニングモデルをデプロイする上で、重要な需要を浮き彫りにしている。
このコンテキストで有効なソリューションは、モバイルデバイスと近くのエッジサーバの間でディープニューラルネットワークを分割するデバイスエッジコ推論フレームワークである。
このアプローチでは、デバイス上の計算と通信コストのバランスをとる必要がある。
従来のディープニューラルネットワークアーキテクチャでは、連続的なデータ処理が必要であり、エッジデバイスによるエネルギー消費が大幅に増加する。
これは、非常にエネルギー効率のよいニューラルネットワーク(SNN)をスパイクすることで実現される、バイナリでイベント駆動のアクティベーションを探求する。
本研究では,SNNを統合することで既存のアーキテクチャを大幅に改善する,SpikeBottleNetという新しいアーキテクチャを提案する。
我々の研究の重要な側面は、SNN用に特別に設計された中間的特徴圧縮技術の開発である。
この手法は、SNNの分割コンピューティングアプローチを利用して、Spike ResNet50のような複雑なアーキテクチャを分割する。
デバイスエッジコ推論システムにSNNのパワーを組み込むことにより、我々のSpikeBottleNetが最終畳み込み層において最大256倍のビット圧縮比を達成し、高い分類精度を維持しながらわずか2.5%の削減しか達成できないことを示す実験結果が得られた。
さらに,ベースラインのBottleNet++アーキテクチャと比較して,以前の分割点における送信機能のサイズを75%削減する。
さらに,エッジデバイスのエネルギー効率は,最大98倍に向上し,効率と性能の両面で著しく向上した。
関連論文リスト
- Embedded event based object detection with spiking neural network [0.18641315013048293]
本研究では,SPiking Low-power Event-based ArchiTectureアクセラレータを応用した,組み込み型ニューロモルフィックテストベンチを提案する。
このテストベンチを使用して、最先端のSNNソリューションをロードし、専用ハードウェア上でネットワークをデプロイする際のパフォーマンス損失を推定し、ニューロモルフィックハードウェア上で実際のイベントベースのODを実行する。
論文 参考訳(メタデータ) (2024-06-25T15:02:01Z) - LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-26T05:23:11Z) - Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision
Quantization [1.0235078178220354]
本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。
われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2023-12-23T18:50:13Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳(メタデータ) (2022-11-24T18:10:01Z) - Neural Architecture Search for Improving Latency-Accuracy Trade-off in
Split Computing [5.516431145236317]
スプリットコンピューティングは、IoTシステムにディープラーニングをデプロイする際のプライバシとレイテンシの問題に対処する、新たな機械学習推論技術である。
スプリットコンピューティングでは、ニューラルネットワークモデルは、エッジサーバとIoTデバイスをネットワークを介して分離し、協調的に処理される。
本稿ではスプリットコンピューティングのためのニューラルアーキテクチャサーチ(NAS)手法を提案する。
論文 参考訳(メタデータ) (2022-08-30T03:15:43Z) - Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。
本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
論文 参考訳(メタデータ) (2022-05-23T12:35:18Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - EffCNet: An Efficient CondenseNet for Image Classification on NXP
BlueBox [0.0]
エッジデバイスは、安価なハードウェアと限られた冷却と計算資源のために、限られた処理能力を提供する。
我々はエッジデバイスのためのEffCNetと呼ばれる新しいディープ畳み込みニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-11-28T21:32:31Z) - Communication-Efficient Separable Neural Network for Distributed
Inference on Edge Devices [2.28438857884398]
本稿では,分散推論のためのニューラルネットワークを分離するために,モデル並列性を利用する新しい手法を提案する。
デバイスの適切な仕様とモデルの構成の下で、エッジクラスタ上の大規模ニューラルネットワークの推論が分散し、加速可能であることを示す実験を行った。
論文 参考訳(メタデータ) (2021-11-03T19:30:28Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳(メタデータ) (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。