論文の概要: CDC: Classification Driven Compression for Bandwidth Efficient
Edge-Cloud Collaborative Deep Learning
- arxiv url: http://arxiv.org/abs/2005.02177v1
- Date: Mon, 4 May 2020 07:40:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 00:38:02.595008
- Title: CDC: Classification Driven Compression for Bandwidth Efficient
Edge-Cloud Collaborative Deep Learning
- Title（参考訳）: CDC: 帯域効率の良いエッジクラウド協調ディープラーニングのための分類駆動圧縮
- Authors: Yuanrui Dong, Peng Zhao, Hanqiao Yu, Cong Zhao and Shusen Yang
- Abstract要約: 本稿では,エッジクラウド協調型DLの分類精度を維持しつつ,帯域消費を削減する分類駆動圧縮フレームワークであるCDCについて述べる。
具体的には、リソース制限のエッジサーバに対して、圧縮のための分類ガイダンスを備えた軽量なオートエンコーダを開発する。
CDCは精度損失が1.06%以下で14.9倍の帯域幅を消費し,AEによって圧縮されたデータを用いたDNNトレーニングと比較すると,CDCは少なくとも100%低い精度損失を導入した。
- 参考スコア（独自算出の注目度）: 13.835043218779546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emerging edge-cloud collaborative Deep Learning (DL) paradigm aims at
improving the performance of practical DL implementations in terms of cloud
bandwidth consumption, response latency, and data privacy preservation.
Focusing on bandwidth efficient edge-cloud collaborative training of DNN-based
classifiers, we present CDC, a Classification Driven Compression framework that
reduces bandwidth consumption while preserving classification accuracy of
edge-cloud collaborative DL. Specifically, to reduce bandwidth consumption, for
resource-limited edge servers, we develop a lightweight autoencoder with a
classification guidance for compression with classification driven feature
preservation, which allows edges to only upload the latent code of raw data for
accurate global training on the Cloud. Additionally, we design an adjustable
quantization scheme adaptively pursuing the tradeoff between bandwidth
consumption and classification accuracy under different network conditions,
where only fine-tuning is required for rapid compression ratio adjustment.
Results of extensive experiments demonstrate that, compared with DNN training
with raw data, CDC consumes 14.9 times less bandwidth with an accuracy loss no
more than 1.06%, and compared with DNN training with data compressed by AE
without guidance, CDC introduces at least 100% lower accuracy loss.
- Abstract（参考訳）: 新たなエッジクラウド協調型ディープラーニング(DL)パラダイムは,クラウド帯域幅の消費,応答レイテンシ,データプライバシ保護の観点から,実用的なDL実装のパフォーマンス向上を目標としている。
帯域幅効率の高いdnnベースの分類器のエッジクラウド協調トレーニングに着目し,エッジクラウド協調dlの分類精度を保ちながら帯域幅消費量を削減した分類駆動圧縮フレームワークcdcを提案する。
具体的には、リソース制限エッジサーバの帯域幅の削減を目的として、圧縮のための分類ガイダンスと特徴保存機能を備えた軽量オートエンコーダを開発し、エッジが生データの潜在コードのみをクラウドにアップロードし、正確なグローバルトレーニングを行う。
さらに,帯域幅と分類精度のトレードオフを適応的に追従し,高速圧縮比調整に微調整のみが必要なネットワーク条件下での最適化可能な量子化スキームを設計する。
大規模な実験の結果、CDCは生データを用いたDNNトレーニングと比較して、精度損失が1.06%未満の帯域幅の14.9倍の帯域幅を消費し、AEによって圧縮されたデータによるDNNトレーニングと比較すると、CDCは少なくとも100%低い精度損失を導入した。
関連論文リスト
- CALLIC: Content Adaptive Learning for Lossless Image Compression [64.47244912937204]
CALLICは、学習したロスレス画像圧縮のための新しい最先端(SOTA)を設定する。
本稿では,畳み込みゲーティング操作を利用したコンテンツ認識型自己回帰自己保持機構を提案する。
エンコーディング中、低ランク行列を用いて深度の畳み込みを含む事前学習層を分解し、レート誘導プログレッシブファインタニング(RPFT)による画像検査にインクリメンタルウェイトを適応させる。
推定エントロピーにより下位順にソートされたパッチを徐々に増加させたRPFTファインチューン,学習過程の最適化,適応時間の短縮を実現した。
論文 参考訳（メタデータ） (2024-12-23T10:41:18Z) - Digital Twin-Assisted Data-Driven Optimization for Reliable Edge Caching in Wireless Networks [60.54852710216738]
我々はD-RECと呼ばれる新しいデジタルツインアシスト最適化フレームワークを導入し、次世代無線ネットワークにおける信頼性の高いキャッシュを実現する。
信頼性モジュールを制約付き決定プロセスに組み込むことで、D-RECは、有利な制約に従うために、アクション、報酬、状態を適応的に調整することができる。
論文 参考訳（メタデータ） (2024-06-29T02:40:28Z) - A Principled Hierarchical Deep Learning Approach to Joint Image
Compression and Classification [27.934109301041595]
本研究は,エンコーダを誘導し,コンパクトで差別的で,一般的な拡張/変換に適した特徴を抽出する3段階共同学習戦略を提案する。
CIFAR-10では最大1.5%,CIFAR-100では3%,従来のE2Eクロスエントロピートレーニングでは3%の精度向上が得られた。
論文 参考訳（メタデータ） (2023-10-30T15:52:18Z) - Shoggoth: Towards Efficient Edge-Cloud Collaborative Real-Time Video
Inference via Adaptive Online Learning [33.16911236522438]
Shoggothは、シーン変更のリアルタイムビデオにおける推論パフォーマンスを高めるための、効率的なエッジクラウドコラボレーションアーキテクチャである。
オンライン知識蒸留は、データドリフトに苦しむモデルの精度を改善し、ラベリングプロセスをクラウドにオフロードする。
エッジでは、限られた計算能力でモデルを適応させるために、小さなバッチを用いて適応的なトレーニングを設計する。
論文 参考訳（メタデータ） (2023-06-27T09:39:42Z) - Task-aware Distributed Source Coding under Dynamic Bandwidth [23.610303860657588]
独立エンコーダとジョイントデコーダからなる分散圧縮フレームワークを提案し,ニューラル分散主成分分析(NDPCA)と呼ぶ。
NDPCAは、複数のソースからのデータを単一のモデルで任意の帯域に柔軟に圧縮し、計算とストレージのオーバーヘッドを減らす。
実験の結果,NDPCAは多視点ロボットアーム操作の成功率を9%向上し,衛星画像上の物体検出タスクの精度を14%向上させることがわかった。
論文 参考訳（メタデータ） (2023-05-24T19:20:59Z) - Efficient LiDAR Point Cloud Geometry Compression Through Neighborhood
Point Attention [25.054578678654796]
この研究は、それらに取り組むための近隣点注意(NPA)を示唆している。
まず、k近辺(kNN)を用いて、適応的な地域地区を構築する。
そして、この地区内の情報を動的に集約するために自己認識機構を利用する。
論文 参考訳（メタデータ） (2022-08-26T10:44:30Z) - Learnable Mixed-precision and Dimension Reduction Co-design for
Low-storage Activation [9.838135675969026]
深層畳み込みニューラルネットワーク(CNN)は多くの眼球運動の結果を得た。
リソース制約のあるエッジデバイスにCNNをデプロイすることは、推論中に大きな中間データを送信するためのメモリ帯域幅の制限によって制限される。
チャネルをグループに分割し,その重要度に応じて圧縮ポリシーを割り当てる,学習可能な混合精度・次元縮小協調設計システムを提案する。
論文 参考訳（メタデータ） (2022-07-16T12:53:52Z) - Unsupervised Representation Learning via Neural Activation Coding [66.65837512531729]
我々は、下流アプリケーションのためのラベルなしデータから深部表現を学習するための新しいアプローチとして、ニューラルアクティベーションコーディング(NAC)を提案する。
我々はNACが連続したデータ表現と離散的なデータ表現の両方を学習し、それぞれ下流の2つのタスクで評価することを示した。
論文 参考訳（メタデータ） (2021-12-07T21:59:45Z) - AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural
Networks [78.62086125399831]
本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。
AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。
AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
論文 参考訳（メタデータ） (2021-06-23T13:23:00Z) - A Joint Energy and Latency Framework for Transfer Learning over 5G
Industrial Edge Networks [53.26338041079138]
5G産業エッジネットワークのための転送学習対応エッジCNNフレームワークを提案する。
特に、エッジサーバは、既存の画像データセットを使用してcnnを事前トレーニングすることができる。
TLの助けを借りて、トレーニングに参加していないデバイスは、訓練されたエッジCNNモデルをスクラッチからトレーニングせずに微調整するだけです。
論文 参考訳（メタデータ） (2021-04-19T15:13:16Z) - An Efficient Statistical-based Gradient Compression Technique for
Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。
SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文 参考訳（メタデータ） (2021-01-26T13:06:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。