論文の概要: ScissionLite: Accelerating Distributed Deep Neural Networks Using Transfer Layer

• arxiv url: http://arxiv.org/abs/2105.02019v1
• Date: Wed, 5 May 2021 12:38:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 16:38:06.664124
• Title: ScissionLite: Accelerating Distributed Deep Neural Networks Using Transfer Layer
• Title（参考訳）: ScissionLite: トランスファー層を用いた分散ディープニューラルネットワークの高速化
• Authors: Hyunho Ahn and Munkyu Lee and Cheol-Ho Hong and Blesson Varghese
• Abstract要約: 産業用IoT(Industrial Internet of Things)アプリケーションはエッジコンピューティングのメリットを享受できる。 ディープニューラルネットワーク(DNN)モデルは、IIoTデバイスとネットワークの端にスライスして分散することができます。 IIoTデバイスとエッジ間のネットワーク性能の低下は、しばしばボトルネックとなる。
• 参考スコア（独自算出の注目度）: 2.951631585365468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Industrial Internet of Things (IIoT) applications can benefit from leveraging edge computing. For example, applications underpinned by deep neural networks (DNN) models can be sliced and distributed across the IIoT device and the edge of the network for improving the overall performance of inference and for enhancing privacy of the input data, such as industrial product images. However, low network performance between IIoT devices and the edge is often a bottleneck. In this study, we develop ScissionLite, a holistic framework for accelerating distributed DNN inference using the Transfer Layer (TL). The TL is a traffic-aware layer inserted between the optimal slicing point of a DNN model slice in order to decrease the outbound network traffic without a significant accuracy drop. For the TL, we implement a new lightweight down/upsampling network for performance-limited IIoT devices. In ScissionLite, we develop ScissionTL, the Preprocessor, and the Offloader for end-to-end activities for deploying DNN slices with the TL. They decide the optimal slicing point of the DNN, prepare pre-trained DNN slices including the TL, and execute the DNN slices on an IIoT device and the edge. Employing the TL for the sliced DNN models has a negligible overhead. ScissionLite improves the inference latency by up to 16 and 2.8 times when compared to execution on the local device and an existing state-of-the-art model slicing approach respectively.
• Abstract（参考訳）: 産業用IoT(Industrial Internet of Things)アプリケーションはエッジコンピューティングのメリットを享受できる。 例えば、ディープニューラルネットワーク(DNN)モデルに根ざしたアプリケーションは、推論の全体的なパフォーマンスを改善し、産業製品イメージのような入力データのプライバシを高めるために、IIoTデバイスとネットワークのエッジでスライスおよび分散することができる。 しかし、IIoTデバイスとエッジ間のネットワーク性能の低下は、しばしばボトルネックとなる。 本研究では,転送層(tl)を用いた分散dnn推定を高速化するフレームワーク scissionlite を開発した。 TLは,DNNモデルスライスにおける最適スライス点間に挿入されるトラフィック認識層であり,アウトバウンドネットワークトラフィックを著しく低下させることなく減少させる。 TLのために、我々はパフォーマンス限定IIoTデバイスのための新しい軽量ダウン/アップサンプリングネットワークを実装した。 そこで,ScissionLiteでは,DNNスライスをTLにデプロイするエンド・ツー・エンドのアクティビティのためのScissionTL,Preプロセッサ,Offloaderを開発した。 彼らは、DNNの最適スライス点を決定し、TLを含む事前訓練されたDNNスライスを作成し、IIoTデバイスとエッジ上でDNNスライスを実行する。 tl をスライスした dnn モデルで使用する場合、オーバーヘッドは無視できる。 scissionliteは、ローカルデバイスの実行と既存の最先端モデルスライシングアプローチと比較して、推論遅延を最大16倍と2.8倍改善する。

関連論文リスト

• LoAS: Fully Temporal-Parallel Dataflow for Dual-Sparse Spiking Neural Networks [14.844751188874652]
  スパイキングニューラルネットワーク(SNN)は、リソースに制約のあるエッジデバイスを駆動する可能性から、過去10年間で大きな研究注目を集めている。 既存のSNNアクセラレーターはスパーススパイクを高密度で処理するが、スパースウェイトを持つSNNでは機会を探索することができない。 二重スパースSNNの加速について検討し、そのコア演算、スパース行列-スパース-マトリクス乗算(spMspM)に着目した。
  論文  参考訳（メタデータ） (2024-07-19T07:02:26Z)
• MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
  MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。 ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。 そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
  論文  参考訳（メタデータ） (2024-02-21T04:43:12Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Designing and Training of Lightweight Neural Networks on Edge Devices using Early Halting in Knowledge Distillation [16.74710649245842]
  本稿では,エッジデバイス上での軽量ディープニューラルネットワーク(DNN)の設計と訓練のための新しいアプローチを提案する。 このアプローチでは、利用可能なストレージ、処理速度、許容可能な最大処理時間を考慮する。 本稿では,ネットワーク資源を保存できる新しい早期停止手法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T16:18:24Z)
• Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
  我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。 LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。 我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-11T15:55:34Z)
• EffCNet: An Efficient CondenseNet for Image Classification on NXP BlueBox [0.0]
  エッジデバイスは、安価なハードウェアと限られた冷却と計算資源のために、限られた処理能力を提供する。 我々はエッジデバイスのためのEffCNetと呼ばれる新しいディープ畳み込みニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-11-28T21:32:31Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• H2Learn: High-Efficiency Learning Accelerator for High-Accuracy Spiking Neural Networks [25.768116231283045]
  H2Learnは,BPTTに基づくSNN学習において,高い効率を実現する新しいアーキテクチャである。 最新のNVIDIA V100 GPUと比較して、H2Learnは7.38倍の領域節約、5.74-10.20倍のスピードアップ、5.25-7.12倍の省エネを実現している。
  論文  参考訳（メタデータ） (2021-07-25T07:37:17Z)
• A Joint Energy and Latency Framework for Transfer Learning over 5G Industrial Edge Networks [53.26338041079138]
  5G産業エッジネットワークのための転送学習対応エッジCNNフレームワークを提案する。 特に、エッジサーバは、既存の画像データセットを使用してcnnを事前トレーニングすることができる。 TLの助けを借りて、トレーニングに参加していないデバイスは、訓練されたエッジCNNモデルをスクラッチからトレーニングせずに微調整するだけです。
  論文  参考訳（メタデータ） (2021-04-19T15:13:16Z)
• DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization in Deep Spiking Neural Networks [8.746046482977434]
  DIET-SNNは、膜漏れと発射閾値を最適化するために勾配降下で訓練された低深さスパイクネットワークである。 我々は,VGGおよびResNetアーキテクチャ上のCIFARおよびImageNetデータセットから画像分類タスクのDIET-SNNを評価する。 我々は、ImageNetデータセット上の5つのタイムステップ(推論レイテンシ)でトップ1の精度を69%達成し、同等の標準ANNよりも12倍少ない計算エネルギーを実現した。
  論文  参考訳（メタデータ） (2020-08-09T05:07:17Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。