論文の概要: C3-SL: Circular Convolution-Based Batch-Wise Compression for Communication-Efficient Split Learning

• arxiv url: http://arxiv.org/abs/2207.12397v1
• Date: Mon, 25 Jul 2022 17:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 13:49:25.370201
• Title: C3-SL: Circular Convolution-Based Batch-Wise Compression for Communication-Efficient Split Learning
• Title（参考訳）: c3-sl: コミュニケーション効率の高い分割学習のための円畳み込みに基づくバッチ分割圧縮
• Authors: Cheng-Yen Hsieh, Yu-Chuan Chuang, and An-Yeu (Andy) Wu
• Abstract要約: 分割学習(C3-SL)のための円形畳み込みに基づくバッチワイズ圧縮を提案する。 C3-SLは1152倍のメモリと2.25倍のオーバーヘッドを持つ。
• 参考スコア（独自算出の注目度）: 7.918172297010212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing studies improve the efficiency of Split learning (SL) by compressing the transmitted features. However, most works focus on dimension-wise compression that transforms high-dimensional features into a low-dimensional space. In this paper, we propose circular convolution-based batch-wise compression for SL (C3-SL) to compress multiple features into one single feature. To avoid information loss while merging multiple features, we exploit the quasi-orthogonality of features in high-dimensional space with circular convolution and superposition. To the best of our knowledge, we are the first to explore the potential of batch-wise compression under the SL scenario. Based on the simulation results on CIFAR-10 and CIFAR-100, our method achieves a 16x compression ratio with negligible accuracy drops compared with the vanilla SL. Moreover, C3-SL significantly reduces 1152x memory and 2.25x computation overhead compared to the state-of-the-art dimension-wise compression method.
• Abstract（参考訳）: 既存の研究のほとんどは、送信された特徴を圧縮することで分割学習(sl)の効率を向上させる。 しかし、ほとんどの研究は高次元特徴を低次元空間に変換する次元圧縮に焦点を当てている。 本稿では,複数の特徴を1つの特徴に圧縮する,SL(C3-SL)の円形畳み込みに基づくバッチ圧縮を提案する。 複数の特徴をマージしながら情報損失を回避するため,高次元空間における特徴の準直交性と円形畳み込みと重畳を利用する。 我々の知る限りでは、SLシナリオの下でバッチワイズ圧縮の可能性を探究する最初の人物です。 CIFAR-10 と CIFAR-100 のシミュレーション結果から,バニラSL と比較して16倍の圧縮率で精度が低下することを示した。 さらに、c3-slは1152xメモリと2.25倍の計算オーバーヘッドを大幅に削減する。

関連論文リスト

• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• MatryoshkaKV: Adaptive KV Compression via Trainable Orthogonal Projection [14.073722038551125]
  KVキャッシュは、大規模言語モデルの推論におけるデファクト技術となっている。 本稿では,低ランクな投影行列を用いて,キャッシュ特性を次元を小さくした空間に変換する。 提案手法は, 平均KVキャッシュ圧縮率60%で90%以上の性能を維持することができる。
  論文  参考訳（メタデータ） (2024-10-16T08:34:51Z)
• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• Point Cloud Compression with Bits-back Coding [32.9521748764196]
  本稿では,深層学習に基づく確率モデルを用いて,点雲情報のシャノンエントロピーを推定する。 点雲データセットのエントロピーを推定すると、学習されたCVAEモデルを用いて点雲の幾何学的属性を圧縮する。 本手法の新規性は,CVAEの学習潜在変数モデルを用いて点雲データを圧縮することである。
  論文  参考訳（メタデータ） (2024-10-09T06:34:48Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Accelerating Large Language Model Training with Hybrid GPU-based Compression [3.204387803072905]
  MPIライブラリはメッセージサイズを大幅に削減し、相互接続帯域幅を活用することが証明されている。 分散大言語モデル(LLM)学習における圧縮支援型MPI集団の有効性について検討した。
  論文  参考訳（メタデータ） (2024-09-04T04:05:30Z)
• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)
• Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
  本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。 精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
  論文  参考訳（メタデータ） (2023-08-08T14:10:16Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Compressed Communication for Distributed Training: Adaptive Methods and System [13.244482588437972]
  通信オーバーヘッドは、分散機械学習システムのスケーラビリティを著しく妨げます。 近年,通信オーバーヘッドを低減するために勾配圧縮を使うことへの関心が高まっている。 本稿では, グラデーション圧縮を用いた新しい適応勾配法を提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。