論文の概要: Reducing Communication for Split Learning by Randomized Top-k Sparsification

• arxiv url: http://arxiv.org/abs/2305.18469v1
• Date: Mon, 29 May 2023 09:02:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 20:33:50.442508
• Title: Reducing Communication for Split Learning by Randomized Top-k Sparsification
• Title（参考訳）: ランダム化トップkスパルシフィケーションによる分割学習のためのコミュニケーションの削減
• Authors: Fei Zheng, Chaochao Chen, Lingjuan Lyu, Binhui Yao
• Abstract要約: スプリットラーニングは垂直的フェデレートラーニング(VFL)の簡単な解法である 分割学習における複数のコミュニケーション削減手法について検討し,カット層サイズ削減,トップkスペーサー化,量子化,L1正規化などを検討した。 提案するランダム化トップkスペーシフィケーションは,同じ圧縮レベルでのモデル性能の向上を実現する。
• 参考スコア（独自算出の注目度）: 25.012786154486164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Split learning is a simple solution for Vertical Federated Learning (VFL), which has drawn substantial attention in both research and application due to its simplicity and efficiency. However, communication efficiency is still a crucial issue for split learning. In this paper, we investigate multiple communication reduction methods for split learning, including cut layer size reduction, top-k sparsification, quantization, and L1 regularization. Through analysis of the cut layer size reduction and top-k sparsification, we further propose randomized top-k sparsification, to make the model generalize and converge better. This is done by selecting top-k elements with a large probability while also having a small probability to select non-top-k elements. Empirical results show that compared with other communication-reduction methods, our proposed randomized top-k sparsification achieves a better model performance under the same compression level.
• Abstract（参考訳）: スプリットラーニングは垂直連合学習(vfl)のためのシンプルなソリューションであり、単純さと効率性から研究と応用の両方において大きな注目を集めている。 しかし、分割学習ではコミュニケーション効率が依然として重要な問題である。 本稿では,カット層サイズ低減,トップkスパース化,量子化,l1正規化など,分割学習のための複数のコミュニケーション削減手法について検討する。 さらに,カット層サイズ低減とトップkスパーシフィケーションの分析により,モデルの一般化と収束性を向上させるために,ランダム化トップkスパーシフィケーションを提案する。 これは、大きな確率でtop-k要素を選択し、非top-k要素を選択する確率を小さくすることで行われる。 実験の結果,提案手法は,他の通信方式と比較して,同じ圧縮レベルでのモデル性能が向上することが示された。

関連論文リスト

• Optimizing Split Points for Error-Resilient SplitFed Learning [2.2530496464901106]
  SplitFedは、FL内の個々のクライアントの計算負担を最小限に抑え、プライバシーを維持しながらSLを並列化する。 本研究では,SplitFedのパケット損失に対するモデル分割点のレジリエンスについて検討した。
  論文  参考訳（メタデータ） (2024-05-29T19:03:27Z)
• Ada-QPacknet -- adaptive pruning with bit width reduction as an efficient continual learning method without forgetting [0.8681331155356999]
  この作業では、新しいアーキテクチャベースのアプローチであるAda-QPacknetについて説明する。 タスクごとにサブネットワークを抽出するプルーニングが組み込まれている。 その結果,提案手法はタスクおよびクラスインクリメンタルシナリオにおいてCL戦略の大部分を上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-08-14T12:17:11Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• A Comprehensively Improved Hybrid Algorithm for Learning Bayesian Networks: Multiple Compound Memory Erasing [0.0]
  本稿では、新しいハイブリッドアルゴリズムMCME(multiple compound memory erasing)を提案する。 MCMEは、最初の2つの手法の利点を維持し、上記のCIテストの欠点を解消し、方向判別段階におけるスコアリング機能に革新をもたらす。 多くの実験により、MCMEは既存のアルゴリズムよりも優れた、あるいは類似した性能を示している。
  論文  参考訳（メタデータ） (2022-12-05T12:52:07Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)
• Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
  本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。 提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
  論文  参考訳（メタデータ） (2020-03-23T17:55:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。