論文の概要: SPINN: Synergistic Progressive Inference of Neural Networks over Device and Cloud

• arxiv url: http://arxiv.org/abs/2008.06402v2
• Date: Mon, 24 Aug 2020 10:24:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 16:36:32.834764
• Title: SPINN: Synergistic Progressive Inference of Neural Networks over Device and Cloud
• Title（参考訳）: SPINN: デバイスとクラウド上のニューラルネットワークのシナジスティックなプログレッシブ推論
• Authors: Stefanos Laskaridis, Stylianos I. Venieris, Mario Almeida, Ilias Leontiadis, Nicholas D. Lane
• Abstract要約: 一般的な選択肢は、CNN処理をクラウドベースの強力なサーバにオフロードすることである。 SPINNは、同期型デバイスクラウドとプログレッシブ推論手法を併用した分散推論システムである。 これは、不確実な接続条件下での堅牢な操作と、クラウド中心の実行と比較してかなりの省エネを提供する。
• 参考スコア（独自算出の注目度）: 13.315410752311768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the soaring use of convolutional neural networks (CNNs) in mobile applications, uniformly sustaining high-performance inference on mobile has been elusive due to the excessive computational demands of modern CNNs and the increasing diversity of deployed devices. A popular alternative comprises offloading CNN processing to powerful cloud-based servers. Nevertheless, by relying on the cloud to produce outputs, emerging mission-critical and high-mobility applications, such as drone obstacle avoidance or interactive applications, can suffer from the dynamic connectivity conditions and the uncertain availability of the cloud. In this paper, we propose SPINN, a distributed inference system that employs synergistic device-cloud computation together with a progressive inference method to deliver fast and robust CNN inference across diverse settings. The proposed system introduces a novel scheduler that co-optimises the early-exit policy and the CNN splitting at run time, in order to adapt to dynamic conditions and meet user-defined service-level requirements. Quantitative evaluation illustrates that SPINN outperforms its state-of-the-art collaborative inference counterparts by up to 2x in achieved throughput under varying network conditions, reduces the server cost by up to 6.8x and improves accuracy by 20.7% under latency constraints, while providing robust operation under uncertain connectivity conditions and significant energy savings compared to cloud-centric execution.
• Abstract（参考訳）: モバイルアプリケーションにおける畳み込みニューラルネットワーク(CNN)の普及にもかかわらず、現代のCNNの過剰な計算要求と、デプロイされたデバイスの多様性の増大により、モバイル上での高性能な推論が一様に維持されている。 一般的な選択肢は、CNN処理をクラウドベースの強力なサーバにオフロードすることである。 それでも、アウトプットを生成するためにクラウドに頼ることで、ドローン障害物回避やインタラクティブなアプリケーションといった、ミッションクリティカルでハイモビリティなアプリケーションが、動的接続条件とクラウドの不確実性に悩まされる可能性がある。 本稿では,SPINNを提案する。SPINNは,多種多様な環境において高速で堅牢なCNN推論を実現するための,相乗的デバイス-クラウド計算とプログレッシブ推論手法を組み合わせた分散推論システムである。 提案システムでは,動的条件に適応し,ユーザ定義のサービスレベル要件を満たすために,早期終了ポリシーとCNN分割を同時に最適化する新しいスケジューラを提案する。 定量的評価により、spinnはネットワーク条件によって達成されたスループットを最大2倍に上回り、サーバコストを最大6.8倍削減し、レイテンシ制約下では20.7%向上し、不安定な接続条件下での堅牢な操作とクラウド中心の実行に比べて大幅な省エネを提供する。

関連論文リスト

• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• Slimmable Encoders for Flexible Split DNNs in Bandwidth and Resource Constrained IoT Systems [12.427821850039448]
  本稿では,スリム化可能なアンサンブルエンコーダに基づく分割計算手法を提案する。 私たちの設計の主な利点は、計算負荷と送信データサイズを最小限のオーバーヘッドと時間でリアルタイムで適応できることです。 本モデルでは,圧縮効率や実行時間,特にモバイルデバイスの弱い状況において,既存のソリューションよりも優れています。
  論文  参考訳（メタデータ） (2023-06-22T06:33:12Z)
• Accurate and Efficient Event-based Semantic Segmentation Using Adaptive Spiking Encoder-Decoder Network [20.05283214295881]
  イベントベースのセンサから動的に非同期な信号を処理するための有望なソリューションとして、スパイキングニューラルネットワーク(SNN)が登場している。 大規模イベントベースセマンティックセマンティックセグメンテーションタスクのための効率的なスパイキングエンコーダデコーダネットワーク(SpikingEDN)を開発した。 適応しきい値を利用して、ストリーミング推論におけるネットワーク精度、空間性、ロバスト性を改善する。
  論文  参考訳（メタデータ） (2023-04-24T07:12:50Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• DynO: Dynamic Onloading of Deep Neural Networks from Cloud to Device [17.43467167013752]
  両世界のベストを組み合わせ、いくつかの課題に取り組む分散推論フレームワークであるDynOを紹介します。 DynO が現在の最先端のパフォーマンスを上回り、デバイスのみの実行よりも桁違いにスループットが向上していることを示します。
  論文  参考訳（メタデータ） (2021-04-20T13:20:15Z)
• CoEdge: Cooperative DNN Inference with Adaptive Workload Partitioning over Heterogeneous Edge Devices [39.09319776243573]
  CoEdgeは、異種エッジデバイス上での協調推論をオーケストレーションする分散ディープニューラルネットワーク(DNN)コンピューティングシステムである。 CoEdgeは4つの広く採用されているCNNモデルに対して25.5%66.9%のエネルギー削減を実現し、予測遅延を短くして省エネする。
  論文  参考訳（メタデータ） (2020-12-06T13:15:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。