論文の概要: C3-SL: Circular Convolution-Based Batch-Wise Compression for
Communication-Efficient Split Learning
- arxiv url: http://arxiv.org/abs/2207.12397v1
- Date: Mon, 25 Jul 2022 17:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 13:49:25.370201
- Title: C3-SL: Circular Convolution-Based Batch-Wise Compression for
Communication-Efficient Split Learning
- Title(参考訳): c3-sl: コミュニケーション効率の高い分割学習のための円畳み込みに基づくバッチ分割圧縮
- Authors: Cheng-Yen Hsieh, Yu-Chuan Chuang, and An-Yeu (Andy) Wu
- Abstract要約: 分割学習(C3-SL)のための円形畳み込みに基づくバッチワイズ圧縮を提案する。
C3-SLは1152倍のメモリと2.25倍のオーバーヘッドを持つ。
- 参考スコア(独自算出の注目度): 7.918172297010212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing studies improve the efficiency of Split learning (SL) by
compressing the transmitted features. However, most works focus on
dimension-wise compression that transforms high-dimensional features into a
low-dimensional space. In this paper, we propose circular convolution-based
batch-wise compression for SL (C3-SL) to compress multiple features into one
single feature. To avoid information loss while merging multiple features, we
exploit the quasi-orthogonality of features in high-dimensional space with
circular convolution and superposition. To the best of our knowledge, we are
the first to explore the potential of batch-wise compression under the SL
scenario. Based on the simulation results on CIFAR-10 and CIFAR-100, our method
achieves a 16x compression ratio with negligible accuracy drops compared with
the vanilla SL. Moreover, C3-SL significantly reduces 1152x memory and 2.25x
computation overhead compared to the state-of-the-art dimension-wise
compression method.
- Abstract(参考訳): 既存の研究のほとんどは、送信された特徴を圧縮することで分割学習(sl)の効率を向上させる。
しかし、ほとんどの研究は高次元特徴を低次元空間に変換する次元圧縮に焦点を当てている。
本稿では,複数の特徴を1つの特徴に圧縮する,SL(C3-SL)の円形畳み込みに基づくバッチ圧縮を提案する。
複数の特徴をマージしながら情報損失を回避するため,高次元空間における特徴の準直交性と円形畳み込みと重畳を利用する。
我々の知る限りでは、SLシナリオの下でバッチワイズ圧縮の可能性を探究する最初の人物です。
CIFAR-10 と CIFAR-100 のシミュレーション結果から,バニラSL と比較して16倍の圧縮率で精度が低下することを示した。
さらに、c3-slは1152xメモリと2.25倍の計算オーバーヘッドを大幅に削減する。
関連論文リスト
- Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。
精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
論文 参考訳(メタデータ) (2023-08-08T14:10:16Z) - DiffRate : Differentiable Compression Rate for Efficient Vision
Transformers [98.33906104846386]
Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。
DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
論文 参考訳(メタデータ) (2023-05-29T10:15:19Z) - Selective compression learning of latent representations for
variable-rate image compression [38.077284943341105]
本稿では、ディープラーニングに基づく可変レート画像圧縮のための、潜在表現を部分的に完全に一般化した方法で符号化する選択的圧縮法を提案する。
提案手法は、個別に訓練された参照圧縮モデルと同等の圧縮効率を達成でき、選択圧縮による復号時間を削減することができる。
論文 参考訳(メタデータ) (2022-11-08T09:09:59Z) - Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。
そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文 参考訳(メタデータ) (2022-09-28T15:16:58Z) - PILC: Practical Image Lossless Compression with an End-to-end GPU
Oriented Neural Framework [88.18310777246735]
本稿では,1台のNVIDIA Tesla V100 GPUを用いて,圧縮と圧縮の両面で200MB/sを実現するエンドツーエンド画像圧縮フレームワークを提案する。
実験により、我々のフレームワークは、複数のデータセットで30%のマージンで、PNGよりも圧縮が優れていることが示された。
論文 参考訳(メタデータ) (2022-06-10T03:00:10Z) - Espresso: Revisiting Gradient Compression from the System Perspective [8.535644448611928]
分散ディープラーニング(DDL)における通信ボトルネックに対処するためのGC(Gradient compression)は有望なアプローチである
しかし、テンソル間の複雑な相互作用のため、DDLにGCを適用するための最適圧縮戦略を見つけることは困難である。
Espressoは、あらゆるDDLトレーニングジョブのテンソル間のすべての圧縮戦略と対応する相互作用を表現するように設計されている。
これにより、DDLトレーニングジョブの代表者に対して、最先端の圧縮対応システムによるトレーニングスループットを最大77%向上させることができる。
論文 参考訳(メタデータ) (2022-05-28T15:47:00Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳(メタデータ) (2021-05-24T12:07:38Z) - Compressed Communication for Distributed Training: Adaptive Methods and
System [13.244482588437972]
通信オーバーヘッドは、分散機械学習システムのスケーラビリティを著しく妨げます。
近年,通信オーバーヘッドを低減するために勾配圧縮を使うことへの関心が高まっている。
本稿では, グラデーション圧縮を用いた新しい適応勾配法を提案する。
論文 参考訳(メタデータ) (2021-05-17T13:41:47Z) - ScaleCom: Scalable Sparsified Gradient Compression for
Communication-Efficient Distributed Training [74.43625662170284]
最先端プラットフォーム上でのDeep Neural Networks(DNN)の大規模分散トレーニングは,通信の厳しい制約が期待できる。
本稿では,学習者間の勾配分布の類似性を活用した新しい圧縮手法を提案する。
実験により,scalecomのオーバーヘッドは小さく,勾配トラフィックを直接低減し,高い圧縮率(65~400倍)と優れたスケーラビリティ(64名までの学習者,8~12倍のバッチサイズ)を提供する。
論文 参考訳(メタデータ) (2021-04-21T02:22:10Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳(メタデータ) (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。