論文の概要: NeuCODEX: Edge-Cloud Co-Inference with Spike-Driven Compression and Dynamic Early-Exit
- arxiv url: http://arxiv.org/abs/2509.19156v1
- Date: Tue, 23 Sep 2025 15:34:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-24 20:41:27.926885
- Title: NeuCODEX: Edge-Cloud Co-Inference with Spike-Driven Compression and Dynamic Early-Exit
- Title(参考訳): NeuCODEX:スパイク駆動圧縮と動的早期実行を備えたエッジクラウドのコ推論
- Authors: Maurf Hassan, Steven Davy, Muhammad Zawish, Owais Bin Zuber, Nouman Ashraf,
- Abstract要約: エッジクラウドのコ推論システムは有望なソリューションを提供するが、そのデプロイメントは高いレイテンシと機能伝達コストによって妨げられることが多い。
我々は,空間的および時間的冗長性の両方を協調的に最適化するニューロモルフィック・コ推論アーキテクチャであるNeuCODEXを紹介する。
提案システムでは、エッジのみの推論に比べて、データ転送を最大2048倍、エッジエネルギー消費を最大90%削減し、エンドツーエンドのレイテンシを最大3倍削減する。
- 参考スコア(独自算出の注目度): 3.263317537325879
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking Neural Networks (SNNs) offer significant potential for enabling energy-efficient intelligence at the edge. However, performing full SNN inference at the edge can be challenging due to the latency and energy constraints arising from fixed and high timestep overheads. Edge-cloud co-inference systems present a promising solution, but their deployment is often hindered by high latency and feature transmission costs. To address these issues, we introduce NeuCODEX, a neuromorphic co-inference architecture that jointly optimizes both spatial and temporal redundancy. NeuCODEX incorporates a learned spike-driven compression module to reduce data transmission and employs a dynamic early-exit mechanism to adaptively terminate inference based on output confidence. We evaluated NeuCODEX on both static images (CIFAR10 and Caltech) and neuromorphic event streams (CIFAR10-DVS and N-Caltech). To demonstrate practicality, we prototyped NeuCODEX on ResNet-18 and VGG-16 backbones in a real edge-to-cloud testbed. Our proposed system reduces data transfer by up to 2048x and edge energy consumption by over 90%, while reducing end-to-end latency by up to 3x compared to edge-only inference, all with a negligible accuracy drop of less than 2%. In doing so, NeuCODEX enables practical, high-performance SNN deployment in resource-constrained environments.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、エッジでエネルギー効率の良いインテリジェンスを実現するための大きな可能性を秘めている。
しかし、固定時間と高ステップのオーバーヘッドから生じるレイテンシとエネルギー制約のため、エッジでの完全なSNN推論の実行は困難である可能性がある。
エッジクラウドのコ推論システムは有望なソリューションを提供するが、そのデプロイメントは高いレイテンシと機能伝達コストによって妨げられることが多い。
これらの問題に対処するために、空間的および時間的冗長性の両方を共同で最適化するニューロモルフィック・コ推論アーキテクチャであるNeuCODEXを導入する。
NeuCODEXは、データ伝送を減らすために学習されたスパイク駆動圧縮モジュールを組み込んでおり、出力信頼度に基づいて推論を適応的に終了させる動的早期終了機構を採用している。
静的画像(CIFAR10とCaltech)とニューロモルフィックイベントストリーム(CIFAR10-DVSとN-Caltech)でNeuCODEXを評価した。
実運用性を示すため,実際のエッジ・ツー・クラウドテストベッドにおいて,ResNet-18とVGG-16のバックボーン上にNeuCODEXを試作した。
提案システムでは、エッジのみの推論と比較して、データ転送を最大2048倍、エッジエネルギー消費を最大90%削減し、エンドツーエンドのレイテンシを最大3倍削減する。
そこでNeuCODEXは,資源制約のある環境で,実用的で高性能なSNNデプロイメントを実現する。
関連論文リスト
- Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding [56.066799081747845]
成長を続けるニューラルネットワークのサイズは、リソースに制約のあるデバイスに深刻な課題をもたらす。
本稿では,レートアウェア量子化とエントロピー符号化を組み合わせた学習後圧縮フレームワークを提案する。
この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。
論文 参考訳(メタデータ) (2025-05-24T15:52:49Z) - Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity [39.483346492111515]
線形リカレントニューラルネットワークは、推論中に一定のメモリ使用量と時間毎の時間を含む強力な長距離シーケンスモデリングを可能にする。
非構造化空間は、互換性のあるハードウェアプラットフォームによって加速されるときに、計算とメモリの要求を大幅に削減できる魅力的なソリューションを提供する。
非常に疎い線形RNNは、高密度ベースラインよりも高い効率と性能のトレードオフを一貫して達成している。
論文 参考訳(メタデータ) (2025-02-03T13:09:21Z) - SpikeBottleNet: Spike-Driven Feature Compression Architecture for Edge-Cloud Co-Inference [0.86325068644655]
エッジクラウドコ推論システムのための新しいアーキテクチャであるSpikeBottleNetを提案する。
SpikeBottleNetはスパイクニューロンモデルを統合し、エッジデバイスのエネルギー消費を大幅に削減する。
論文 参考訳(メタデータ) (2024-10-11T09:59:21Z) - enpheeph: A Fault Injection Framework for Spiking and Compressed Deep
Neural Networks [10.757663798809144]
スパイク・圧縮型ディープニューラルネットワーク(DNN)の故障注入フレームワークであるenpheephについて述べる。
ランダムかつ増加する故障数を注入することにより,DNNはパラメータあたり7 x 10 (-7) の故障率で精度を低下させることができ,精度は40%以上低下することを示した。
論文 参考訳(メタデータ) (2022-07-31T00:30:59Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - A Joint Energy and Latency Framework for Transfer Learning over 5G
Industrial Edge Networks [53.26338041079138]
5G産業エッジネットワークのための転送学習対応エッジCNNフレームワークを提案する。
特に、エッジサーバは、既存の画像データセットを使用してcnnを事前トレーニングすることができる。
TLの助けを借りて、トレーニングに参加していないデバイスは、訓練されたエッジCNNモデルをスクラッチからトレーニングせずに微調整するだけです。
論文 参考訳(メタデータ) (2021-04-19T15:13:16Z) - Dynamic Slimmable Network [105.74546828182834]
ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。
ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。
静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
論文 参考訳(メタデータ) (2021-03-24T15:25:20Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳(メタデータ) (2021-02-08T05:55:47Z) - GOAT: GPU Outsourcing of Deep Learning Training With Asynchronous
Probabilistic Integrity Verification Inside Trusted Execution Environment [0.0]
Deep Neural Networks(DNN)に基づく機械学習モデルは、自動運転車から新型コロナウイルスの治療発見まで、さまざまなアプリケーションにますます導入されている。
DNNを学習するために必要な計算能力をサポートするために、専用のハードウェアサポートを備えたクラウド環境が重要なインフラストラクチャとして登場した。
これらの課題に対処する様々なアプローチが開発され、信頼できる実行環境(TEE)上に構築されている。
論文 参考訳(メタデータ) (2020-10-17T20:09:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。