論文の概要: Communication and Computation Reduction for Split Learning using Asynchronous Training

• arxiv url: http://arxiv.org/abs/2107.09786v1
• Date: Tue, 20 Jul 2021 22:08:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-22 22:48:29.695843
• Title: Communication and Computation Reduction for Split Learning using Asynchronous Training
• Title（参考訳）: 非同期学習を用いた分割学習のためのコミュニケーションと計算の削減
• Authors: Xing Chen, Jingtao Li and Chaitali Chakrabarti
• Abstract要約: 本稿では,クライアント側モデル更新の頻度を低くし,選択したエポックにおけるアクティベーション/グラディエントのみを送受信する,ロスベースの非同期トレーニング手法を提案する。 コミュニケーション削減に基づく分割学習手法のプライバシは,従来の分割学習とほぼ同じである。
• 参考スコア（独自算出の注目度）: 9.461478650926608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Split learning is a promising privacy-preserving distributed learning scheme that has low computation requirement at the edge device but has the disadvantage of high communication overhead between edge device and server. To reduce the communication overhead, this paper proposes a loss-based asynchronous training scheme that updates the client-side model less frequently and only sends/receives activations/gradients in selected epochs. To further reduce the communication overhead, the activations/gradients are quantized using 8-bit floating point prior to transmission. An added benefit of the proposed communication reduction method is that the computations at the client side are reduced due to reduction in the number of client model updates. Furthermore, the privacy of the proposed communication reduction based split learning method is almost the same as traditional split learning. Simulation results on VGG11, VGG13 and ResNet18 models on CIFAR-10 show that the communication cost is reduced by 1.64x-106.7x and the computations in the client are reduced by 2.86x-32.1x when the accuracy degradation is less than 0.5% for the single-client case. For 5 and 10-client cases, the communication cost reduction is 11.9x and 11.3x on VGG11 for 0.5% loss in accuracy.
• Abstract（参考訳）: 分割学習は、エッジデバイスでの計算要求が低いが、エッジデバイスとサーバ間の通信オーバーヘッドが高いという欠点がある、有望なプライバシー保護分散学習スキームである。 本稿では,クライアント側モデルの更新頻度を低くし,選択したエポックにおけるアクティベーション/グラディエントのみを送受信するロスベース非同期トレーニング手法を提案する。 さらに通信オーバーヘッドを低減するため、送信前に8ビット浮動小数点を用いてアクティベーション/グレードを量子化する。 提案手法の利点は,クライアントモデルの更新回数の削減により,クライアント側の計算量が削減されることである。 さらに,コミュニケーション削減に基づく分割学習手法のプライバシは,従来の分割学習とほぼ同等である。 CIFAR-10上でのVGG11, VGG13, ResNet18モデルのシミュレーション結果から, 通信コストが1.64x-106.7x削減され, クライアントの計算処理が2.86x-32.1x削減された。 5および10のクライアントの場合、通信コストはvgg11の11.9倍、11.3倍で、精度が0.5%低下する。

関連論文リスト

• LoCo: Low-Bit Communication Adaptor for Large-scale Model Training [63.040522637816906]
  低ビット通信は、しばしば圧縮情報損失によってトレーニング品質が低下する。 本稿では,ローカルGPUノードを補償するLoCo(Lo-bit Communication Adaptor)を提案する。 実験結果から,Megatron-LMやPyTorchs FSDPといった大規模トレーニングモデルフレームワークの移動により,LoCoは圧縮通信効率を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-05T13:01:36Z)
• Federated Hyperdimensional Computing [14.844383542052169]
  フェデレートラーニング(FL)は、参加するクライアントの緩やかなセットが、中央サーバによる調整を通じて、グローバルモデルを協調的に学習することを可能にする。 既存のFLアプローチは、ディープニューラルネットワーク(DNN)のような巨大なモデルを持つ複雑なアルゴリズムに依存している。 我々はまず,超次元コンピューティング(HDC)に基づくフェデレーション学習フレームワークであるFedHDCを提案する。
  論文  参考訳（メタデータ） (2023-12-26T09:24:19Z)
• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• ResFed: Communication Efficient Federated Learning by Transmitting Deep Compressed Residuals [24.13593410107805]
  フェデレートラーニングは、学習したローカルモデルパラメータを共有することで、大規模分散クライアント間の協調トレーニングを可能にする。 モデルパラメータではなく残差を訓練用ネットワークに送信する残差ベースフェデレーション学習フレームワーク(ResFed)を導入する。 共通予測ルールを用いることで、ローカルモデルとグローバルモデルの両方が、常にクライアントとサーバで完全に回復可能である。
  論文  参考訳（メタデータ） (2022-12-11T20:34:52Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients [41.623518032533035]
  スプリットラーニングでは、モデルのごく一部だけがクライアントに格納され、トレーニングされ、残りの部分はサーバに留まる。 本稿では,勾配補正法を伴って,新たなクラスタリング方式を用いて付加的な通信を圧縮することにより,この問題に対処する。
  論文  参考訳（メタデータ） (2022-01-28T00:09:53Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Time-Correlated Sparsification for Communication-Efficient Federated Learning [6.746400031322727]
  フェデレーションラーニング(FL)により、複数のクライアントがローカルデータセットを開示することなく、共有モデルを共同でトレーニングできます。 FLにおける連続的な反復で使用されるスパース表現の間に一定の相関関係を求める新しい時間関連スペーシフィケーション手法を提案する。 本研究では,TCSが100倍のスパーシフィケーションと最大2000倍の通信負荷低減で集中型トレーニング精度を達成できることを示した。
  論文  参考訳（メタデータ） (2021-01-21T20:15:55Z)
• Distributed Sparse SGD with Majority Voting [5.32836690371986]
  分散学習のための分散コミュニケーション戦略として,多数決に基づく疎間コミュニケーション戦略を導入する。 テスト精度を損なうことなく,最大x4000圧縮を達成可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-12T17:06:36Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。