論文の概要: Edge-Cloud Cooperation for DNN Inference via Reinforcement Learning and Supervised Learning

• arxiv url: http://arxiv.org/abs/2210.05182v1
• Date: Tue, 11 Oct 2022 06:35:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 16:48:29.075814
• Title: Edge-Cloud Cooperation for DNN Inference via Reinforcement Learning and Supervised Learning
• Title（参考訳）: 強化学習と教師付き学習によるDNN推論のためのエッジクラウド協調
• Authors: Tinghao Zhang, Zhijun Li, Yongrui Chen, Kwok-Yan Lam, Jun Zhao
• Abstract要約: 低推論レイテンシを維持しつつ,推論精度を向上させるために,エッジクラウド協調フレームワークを提案する。 私たちはエッジに軽量モデル、クラウドにヘビーウェイトモデルを展開しています。 提案手法は, 最大78.8%の推論遅延を低減し, クラウドのみの戦略に比べて高い精度を実現する。
• 参考スコア（独自算出の注目度）: 23.4463067406809
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) have been widely applied in Internet of Things (IoT) systems for various tasks such as image classification and object detection. However, heavyweight DNN models can hardly be deployed on edge devices due to limited computational resources. In this paper, an edge-cloud cooperation framework is proposed to improve inference accuracy while maintaining low inference latency. To this end, we deploy a lightweight model on the edge and a heavyweight model on the cloud. A reinforcement learning (RL)-based DNN compression approach is used to generate the lightweight model suitable for the edge from the heavyweight model. Moreover, a supervised learning (SL)-based offloading strategy is applied to determine whether the sample should be processed on the edge or on the cloud. Our method is implemented on real hardware and tested on multiple datasets. The experimental results show that (1) The sizes of the lightweight models obtained by RL-based DNN compression are up to 87.6% smaller than those obtained by the baseline method; (2) SL-based offloading strategy makes correct offloading decisions in most cases; (3) Our method reduces up to 78.8% inference latency and achieves higher accuracy compared with the cloud-only strategy.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、画像分類やオブジェクト検出といった様々なタスクに対して、IoT(Internet of Things)システムに広く適用されている。 しかし、計算資源が限られているため、重いDNNモデルはエッジデバイスにはほとんど展開できない。 本稿では,低推論レイテンシを維持しつつ推論精度を向上させるためのエッジクラウド協調フレームワークを提案する。 この目的のために、エッジに軽量モデル、クラウドにヘビーウェイトモデルを展開しました。 重み付きモデルからエッジに適した軽量モデルを生成するために,強化学習(RL)に基づくDNN圧縮手法を用いる。 さらに、教師付き学習(SL)ベースのオフロード戦略を適用し、サンプルをエッジで処理すべきかクラウドで処理すべきかを判断する。 本手法は実ハードウェア上で実装され,複数のデータセット上でテストされる。 実験の結果,(1)rlベースのdnn圧縮により得られた軽量モデルのサイズは,ベースライン法で得られたモデルよりも最大87.6%小さく,(2)slベースのオフロード戦略は,ほとんどの場合,正しいオフロード決定を行う。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Dual-Model Distillation for Efficient Action Classification with Hybrid Edge-Cloud Solution [1.8029479474051309]
  我々は、より大規模で正確なクラウドベースモデルに必要に応じて遅延しながら、より小さなモデルのローカル処理効率を活用するハイブリッドエッジクラウドソリューションを設計する。 具体的には、エッジモデルの出力が不確かである場合に予測可能な軽量スイッチャーモデルをトレーニングするための、新しい教師なしデータ生成手法であるDual-Model Distillation(DMD)を提案する。 動作分類タスクの実験結果から,我々のフレームワークは計算オーバーヘッドを少なくするだけでなく,大規模モデルのみを使用する場合と比較して精度も向上することが示された。
  論文  参考訳（メタデータ） (2024-10-16T02:06:27Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Improving Robustness Against Adversarial Attacks with Deeply Quantized Neural Networks [0.5849513679510833]
  ディープニューラルネットワーク(DNN)の欠点は、入力にわずかな摂動を加えることで騙されるため、敵の攻撃に対する脆弱性である。 本稿では,対戦型ブラックボックス攻撃に対して堅牢な小型DNNモデルを考案し,自動量子化学習フレームワークを用いて訓練した結果を報告する。
  論文  参考訳（メタデータ） (2023-04-25T13:56:35Z)
• HAVANA: Hard negAtiVe sAmples aware self-supervised coNtrastive leArning for Airborne laser scanning point clouds semantic segmentation [9.310873951428238]
  本研究は, セマンティックセグメンテーションのためのモデルを事前学習するための, 自己指導型コントラスト学習手法を提案する。 提案したHAVANA法は,教師付きパラダイム性能の94%をフルトレーニングセットで上回っている。
  論文  参考訳（メタデータ） (2022-10-19T15:05:17Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• AppealNet: An Efficient and Highly-Accurate Edge/Cloud Collaborative Architecture for DNN Inference [16.847204351692632]
  AppealNetは、最先端のソリューションよりも効率的にディープラーニング(DL)タスクを実行する新しいエッジ/クラウド共同アーキテクチャです。 入力に対して appealnet は、リソース制約されたエッジデバイスにデプロイされたdlモデルによってうまく処理できるかどうかを正確に予測する。
  論文  参考訳（メタデータ） (2021-05-10T04:13:35Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
  知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。 提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。 特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
  論文  参考訳（メタデータ） (2021-04-19T10:34:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。