論文の概要: BottleFit: Learning Compressed Representations in Deep Neural Networks for Effective and Efficient Split Computing

• arxiv url: http://arxiv.org/abs/2201.02693v1
• Date: Fri, 7 Jan 2022 22:08:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-11 15:33:49.975407
• Title: BottleFit: Learning Compressed Representations in Deep Neural Networks for Effective and Efficient Split Computing
• Title（参考訳）: BottleFit: 効率的なスプリットコンピューティングのためのディープニューラルネットワークにおける圧縮表現の学習
• Authors: Yoshitomo Matsubara, Davide Callegaro, Sameer Singh, Marco Levorato, Francesco Restuccia
• Abstract要約: 圧縮速度が強い場合でも高い精度を達成するための新しいトレーニング戦略を含む,BottleFitと呼ばれる新しいフレームワークを提案する。 BottleFitは77.1%のデータ圧縮を実現し、ImageNetデータセットでは最大で0.6%の精度でロスする。 本稿では,BottleFitが消費電力とレイテンシを最大で49%,(w.r.t.)ローカルコンピューティングでは89%,エッジオフロードでは37%,W.r.t.エッジオフロードでは55%削減することを示した。
• 参考スコア（独自算出の注目度）: 48.11023234245863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although mission-critical applications require the use of deep neural networks (DNNs), their continuous execution at mobile devices results in a significant increase in energy consumption. While edge offloading can decrease energy consumption, erratic patterns in channel quality, network and edge server load can lead to severe disruption of the system's key operations. An alternative approach, called split computing, generates compressed representations within the model (called "bottlenecks"), to reduce bandwidth usage and energy consumption. Prior work has proposed approaches that introduce additional layers, to the detriment of energy consumption and latency. For this reason, we propose a new framework called BottleFit, which, in addition to targeted DNN architecture modifications, includes a novel training strategy to achieve high accuracy even with strong compression rates. We apply BottleFit on cutting-edge DNN models in image classification, and show that BottleFit achieves 77.1% data compression with up to 0.6% accuracy loss on ImageNet dataset, while state of the art such as SPINN loses up to 6% in accuracy. We experimentally measure the power consumption and latency of an image classification application running on an NVIDIA Jetson Nano board (GPU-based) and a Raspberry PI board (GPU-less). We show that BottleFit decreases power consumption and latency respectively by up to 49% and 89% with respect to (w.r.t.) local computing and by 37% and 55% w.r.t. edge offloading. We also compare BottleFit with state-of-the-art autoencoders-based approaches, and show that (i) BottleFit reduces power consumption and execution time respectively by up to 54% and 44% on the Jetson and 40% and 62% on Raspberry PI; (ii) the size of the head model executed on the mobile device is 83 times smaller. The code repository will be published for full reproducibility of the results.
• Abstract（参考訳）: ミッションクリティカルなアプリケーションはディープニューラルネットワーク(DNN)を必要とするが、モバイルデバイスでの連続実行はエネルギー消費を大幅に増加させる。 エッジオフロードはエネルギー消費を減少させるが、チャネル品質、ネットワークおよびエッジサーバ負荷の不安定なパターンは、システムのキー操作を著しく破壊する可能性がある。 スプリットコンピューティングと呼ばれる別のアプローチでは、帯域幅の使用量とエネルギー消費を減らすためにモデル内の圧縮表現(ボトルネックと呼ばれる)を生成する。 以前の作業では、エネルギー消費とレイテンシを損なうため、追加のレイヤを導入するアプローチが提案されている。 そこで本研究では,目標とするDNNアーキテクチャの変更に加えて,高い圧縮率で高い精度を実現するための新たなトレーニング戦略を含む,BottleFitというフレームワークを提案する。 画像分類における最先端DNNモデルにBottleFitを適用し、画像Netデータセット上で最大0.6%の精度で77.1%のデータ圧縮を達成する一方、SPINNのような技術の状態は6%の精度で失われることを示す。 NVIDIA Jetson Nanoボード(GPUベース)とRaspberry PIボード(GPUなし)で動作する画像分類アプリケーションの消費電力と遅延を実験的に測定した。 この結果,BottleFitは(w.r.t.)ローカルコンピューティングに対して最大49%,89%,エッジオフロードでは37%,55%の電力消費を減少させることがわかった。 bottlefitを最先端のオートエンコーダベースのアプローチと比較し、それを示す。 (i) bottlefitは、jetsonでは最大54%、44%、raspberry piでは40%、62%の消費電力と実行時間をそれぞれ削減します。 (ii)モバイルデバイス上で実行されるヘッドモデルのサイズは83倍である。 コードリポジトリは結果の完全な再現性のために公開される。

関連論文リスト

• A Converting Autoencoder Toward Low-latency and Energy-efficient DNN Inference at the Edge [4.11949030493552]
  エッジデバイスに適した低レイテンシかつエネルギー効率のDeep Neural Network (DNN) 推論フレームワークであるCBNetを提案する。 変換」オートエンコーダを使用して、ハードイメージを簡単なものに効率よく変換する。 CBNetは推論遅延の4.8倍のスピードアップと79%のエネルギー消費の削減を実現している。
  論文  参考訳（メタデータ） (2024-03-11T08:13:42Z)
• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Pushing the Limits of Asynchronous Graph-based Object Detection with Event Cameras [62.70541164894224]
  低計算を維持しながら、そのようなモデルの深さと複雑さを拡大できるアーキテクチャ選択をいくつか導入する。 我々の手法は、密度の高いグラフニューラルネットワークよりも3.7倍高速に動作し、前方通過はわずか8.4msである。
  論文  参考訳（メタデータ） (2022-11-22T15:14:20Z)
• Post-training deep neural network pruning via layer-wise calibration [70.65691136625514]
  本論文では,自動合成フラクタル画像に基づくコンピュータビジョンモデルに対するデータフリーな拡張を提案する。 実データを使用する場合は、トレーニング後の設定で65%の間隔で8ビットの精度でImageNet上のResNet50モデルを取得できます。
  論文  参考訳（メタデータ） (2021-04-30T14:20:51Z)
• Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
  ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。 FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
  論文  参考訳（メタデータ） (2021-03-19T15:33:16Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence [111.09105910265154]
  アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。 AdderNet全体の16%の高速化を実現している。 我々は、AdderNetが他の競争相手を追い越せると結論付けている。
  論文  参考訳（メタデータ） (2021-01-25T11:31:52Z)
• Sound Event Detection with Binary Neural Networks on Tightly Power-Constrained IoT Devices [20.349809458335532]
  サウンドイベント検出(SED)は、消費者およびスマートシティアプリケーションのホットトピックです。 Deep Neural Networksに基づく既存のアプローチは非常に効果的ですが、メモリ、電力、スループットの面で非常に要求が高いです。 本稿では,高エネルギー効率なRISC-V(8+1)コアGAP8マイクロコントローラと,極端量子化と小プリントバイナリニューラルネットワーク(BNN)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2021-01-12T12:38:23Z)
• Efficient CNN-LSTM based Image Captioning using Neural Network Compression [0.0]
  CNN-LSTMベースの画像キャプションモデルの非従来のエンドツーエンド圧縮パイプラインを紹介します。 次に、異なる圧縮アーキテクチャがモデルに与える影響を検討し、73.1%のモデルサイズ削減を実現する圧縮アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2020-12-17T16:25:09Z)
• PENNI: Pruned Kernel Sharing for Efficient CNN Inference [41.050335599000036]
  最先端(SOTA)CNNは、様々なタスクにおいて優れたパフォーマンスを達成する。 その高い計算要求と膨大な数のパラメータにより、リソース制約のあるデバイスにこれらのSOTA CNNをデプロイすることは困難である。 本稿では,CNNモデル圧縮フレームワークであるPENNIを提案する。
  論文  参考訳（メタデータ） (2020-05-14T16:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。