論文の概要: SpikeBottleNet: Spike-Driven Feature Compression Architecture for Edge-Cloud Co-Inference
- arxiv url: http://arxiv.org/abs/2410.08673v2
- Date: Thu, 7 Nov 2024 14:49:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 19:50:01.705513
- Title: SpikeBottleNet: Spike-Driven Feature Compression Architecture for Edge-Cloud Co-Inference
- Title（参考訳）: SpikeBottleNet:エッジクラウドのコ推論のためのスパイク駆動機能圧縮アーキテクチャ
- Authors: Maruf Hassan, Steven Davy,
- Abstract要約: エッジクラウドコ推論システムのための新しいアーキテクチャであるSpikeBottleNetを提案する。
SpikeBottleNetはスパイクニューロンモデルを統合し、エッジデバイスのエネルギー消費を大幅に削減する。
- 参考スコア（独自算出の注目度）: 0.86325068644655
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Edge-cloud co-inference enables efficient deep neural network (DNN) deployment by splitting the architecture between an edge device and cloud server, crucial for resource-constraint edge devices. This approach requires balancing on-device computations and communication costs, often achieved through compressed intermediate feature transmission. Conventional DNN architectures require continuous data processing and floating point activations, leading to considerable energy consumption and increased feature sizes, thus raising transmission costs. This challenge motivates exploring binary, event-driven activations using spiking neural networks (SNNs), known for their extreme energy efficiency. In this research, we propose SpikeBottleNet, a novel architecture for edge-cloud co-inference systems that integrates a spiking neuron model to significantly reduce energy consumption on edge devices. A key innovation of our study is an intermediate feature compression technique tailored for SNNs for efficient feature transmission. This technique leverages a split computing approach to strategically place encoder-decoder bottleneck units within complex deep architectures like ResNet and MobileNet. Experimental results demonstrate that SpikeBottleNet achieves up to 256x bit compression in the final convolutional layer of ResNet, with minimal accuracy loss (0.16%). Additionally, our approach enhances edge device energy efficiency by up to 144x compared to the baseline BottleNet, making it ideal for resource-limited edge devices.
- Abstract（参考訳）: エッジクラウドのコ推論により、エッジデバイスとクラウドサーバの間でアーキテクチャを分割することで、効率的なディープニューラルネットワーク(DNN)デプロイメントが可能になる。
このアプローチでは、デバイス上の計算と通信コストのバランスをとる必要がある。
従来のDNNアーキテクチャでは、連続したデータ処理と浮動小数点の活性化が必要であり、エネルギー消費が大幅に増加し、特徴量も増大し、伝送コストが上昇する。
この課題は、極端エネルギー効率で知られるスパイキングニューラルネットワーク(SNN)を使用して、バイナリでイベント駆動のアクティベーションを探索する。
本研究では,エッジデバイス上でのエネルギー消費を大幅に削減するために,スパイクニューロンモデルを統合したエッジクラウドコ推論システムのための新しいアーキテクチャであるSpikeBottleNetを提案する。
この研究の重要な革新は、効率的な特徴伝達のためにSNN用に調整された中間的特徴圧縮技術である。
この手法は分割コンピューティングアプローチを利用して、エンコーダとデコーダのボトルネックユニットをResNetやMobileNetのような複雑なディープアーキテクチャに戦略的に配置する。
実験により、SpikeBottleNetはResNetの最終畳み込み層において最大256倍のビット圧縮を実現し、最小精度の損失(0.16%)が得られた。
さらに,本手法は,ベースラインであるBottleNetに比べて最大144倍のエッジデバイスエネルギー効率を向上し,リソース制限エッジデバイスに最適である。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Growing Efficient Accurate and Robust Neural Networks on the Edge [0.9208007322096533]
現在のソリューションは、Edgeにデプロイする前にモデルをトレーニングし、圧縮するためにCloudに依存しています。
これにより、ローカルに取得したフィールドデータをクラウドに送信する上で、高エネルギとレイテンシのコストが発生すると同時に、プライバシの懸念も高まる。
We propose GEARnn to grow and training robust network completely on the Edge device。
論文 参考訳（メタデータ） (2024-10-10T08:01:42Z) - DVFO: Learning-Based DVFS for Energy-Efficient Edge-Cloud Collaborative
Inference [12.095934624748686]
本稿では,新しいDVFS対応エッジクラウド協調推論フレームワークであるDVFOを提案する。
エッジデバイスのCPU、GPU、メモリの周波数を自動的に最適化し、機能マップをクラウドサーバにオフロードする。
最先端の計画に比べて、エネルギー消費を平均で33%削減する。
論文 参考訳（メタデータ） (2023-06-02T07:00:42Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳（メタデータ） (2022-11-24T18:10:01Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。
本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
論文 参考訳（メタデータ） (2022-05-23T12:35:18Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - EffCNet: An Efficient CondenseNet for Image Classification on NXP
BlueBox [0.0]
エッジデバイスは、安価なハードウェアと限られた冷却と計算資源のために、限られた処理能力を提供する。
我々はエッジデバイスのためのEffCNetと呼ばれる新しいディープ畳み込みニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-11-28T21:32:31Z) - Latency-Memory Optimized Splitting of Convolution Neural Networks for
Resource Constrained Edge Devices [1.6873748786804317]
我々は、エッジデバイスとクラウド間でCNNを実行することは、リソース制約のある最適化問題を解決することと同義であると主張している。
実世界のエッジデバイスでの実験では、LMOSはエッジで異なるCNNモデルの実行可能な実行を保証する。
論文 参考訳（メタデータ） (2021-07-19T19:39:56Z) - Energy-Efficient Model Compression and Splitting for Collaborative
Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。
提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文 参考訳（メタデータ） (2021-06-02T07:36:27Z) - CoEdge: Cooperative DNN Inference with Adaptive Workload Partitioning
over Heterogeneous Edge Devices [39.09319776243573]
CoEdgeは、異種エッジデバイス上での協調推論をオーケストレーションする分散ディープニューラルネットワーク(DNN)コンピューティングシステムである。
CoEdgeは4つの広く採用されているCNNモデルに対して25.5%66.9%のエネルギー削減を実現し、予測遅延を短くして省エネする。
論文 参考訳（メタデータ） (2020-12-06T13:15:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。