論文の概要: A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate
Compression for Split DNN Computing
- arxiv url: http://arxiv.org/abs/2208.11596v1
- Date: Wed, 24 Aug 2022 15:02:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-25 12:29:55.373544
- Title: A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate
Compression for Split DNN Computing
- Title（参考訳）: 分割DNN計算におけるレート歪み最適化可変ビットレート圧縮に対する低複雑さアプローチ
- Authors: Parual Datta, Nilesh Ahuja, V. Srinivasa Somayazulu, Omesh Tickoo
- Abstract要約: 分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。
本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。
我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
- 参考スコア（独自算出の注目度）: 5.3221129103999125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Split computing has emerged as a recent paradigm for implementation of
DNN-based AI workloads, wherein a DNN model is split into two parts, one of
which is executed on a mobile/client device and the other on an edge-server (or
cloud). Data compression is applied to the intermediate tensor from the DNN
that needs to be transmitted, addressing the challenge of optimizing the
rate-accuracy-complexity trade-off. Existing split-computing approaches adopt
ML-based data compression, but require that the parameters of either the entire
DNN model, or a significant portion of it, be retrained for different
compression levels. This incurs a high computational and storage burden:
training a full DNN model from scratch is computationally demanding,
maintaining multiple copies of the DNN parameters increases storage
requirements, and switching the full set of weights during inference increases
memory bandwidth. In this paper, we present an approach that addresses all
these challenges. It involves the systematic design and training of bottleneck
units - simple, low-cost neural networks - that can be inserted at the point of
split. Our approach is remarkably lightweight, both during training and
inference, highly effective and achieves excellent rate-distortion performance
at a small fraction of the compute and storage overhead compared to existing
methods.
- Abstract（参考訳）: 分割コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして現れており、DNNモデルは2つの部分に分割されている。
データ圧縮は送信が必要なDNNの中間テンソルに適用され、レート・精度・複雑さのトレードオフを最適化する課題に対処する。
既存の分割計算アプローチではMLベースのデータ圧縮が採用されているが、DNNモデル全体またはそのかなりの部分のパラメータを、異なる圧縮レベルで再トレーニングする必要がある。
完全なdnnモデルをスクラッチからトレーニングすることは計算上必要であり、dnnパラメータの複数のコピーを維持することはストレージ要件を増加させ、推論中に重みの完全なセットを切り替えることでメモリ帯域幅が増加する。
本稿では,これらの課題をすべて解決するアプローチを提案する。
それは、分割の時点で挿入できるボトルネックユニット — 単純で低コストなニューラルネットワーク — の体系的な設計とトレーニングを含む。
提案手法は,トレーニングと推論の両面において極めて軽量であり,計算とストレージのオーバーヘッドのごく一部で高い速度歪み性能を実現する。
関連論文リスト
- Algorithm-Hardware Co-Design of Distribution-Aware Logarithmic-Posit Encodings for Efficient DNN Inference [4.093167352780157]
本稿では,ポジトリにインスパイアされた適応型ハードウェアフレンドリなデータ型であるLogarithmic Posits (LP)を紹介する。
また,LPQ(LP Quantization, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化)
論文 参考訳（メタデータ） (2024-03-08T17:28:49Z) - Accelerating Distributed Deep Learning using Lossless Homomorphic
Compression [17.654138014999326]
本稿では,ワーカレベルの圧縮とネットワーク内アグリゲーションを効果的に融合する新しい圧縮アルゴリズムを提案する。
集約のスループットが6.33$times$改善され、イテレーションごとのトレーニング速度が3.74$times$アップします。
論文 参考訳（メタデータ） (2024-02-12T09:57:47Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Receptive Field-based Segmentation for Distributed CNN Inference
Acceleration in Collaborative Edge Computing [93.67044879636093]
協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。
我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
論文 参考訳（メタデータ） (2022-07-22T18:38:11Z) - Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。
本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
論文 参考訳（メタデータ） (2022-05-23T12:35:18Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Data-Driven Low-Rank Neural Network Compression [8.025818540338518]
我々は、事前訓練されたディープニューラルネットワーク(DNN)のパラメータ数を減少させるデータ駆動低ランク(DDLR)手法を提案する。
分類精度を小さく抑えるだけでパラメータ数を著しく削減できることを示す。
論文 参考訳（メタデータ） (2021-07-13T00:10:21Z) - AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural
Networks [78.62086125399831]
本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。
AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。
AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
論文 参考訳（メタデータ） (2021-06-23T13:23:00Z) - Partitioning sparse deep neural networks for scalable training and
inference [8.282177703075453]
最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。
スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。
その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
論文 参考訳（メタデータ） (2021-04-23T20:05:52Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。