論文の概要: Parallel Split Learning with Global Sampling

• arxiv url: http://arxiv.org/abs/2407.15738v1
• Date: Mon, 22 Jul 2024 15:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 14:20:51.535219
• Title: Parallel Split Learning with Global Sampling
• Title（参考訳）: グローバルサンプリングによる並列スプリット学習
• Authors: Mohammad Kohankhaki, Ahmad Ayad, Mahdi Barhoush, Anke Schmeink,
• Abstract要約: 並列分割学習(PSL)は、リソース制約のあるデバイスでの分散学習に適している。 PSLは、大きな有効バッチサイズ、非IIDデータ分散、ストラグラー効果など、いくつかの障害に直面している。 クライアント数から有効バッチサイズを分離し,非IID設定におけるミニバッチ偏差を低減するために,Uniform Global Sampling (UGS) 方式を導入する。 シミュレーションの結果,提案手法は非IID環境でのモデル精度を最大34.1%向上し,ストラグラー存在下でのトレーニング時間を最大62%短縮することがわかった。
• 参考スコア（独自算出の注目度）: 9.57839529462706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The expansion of IoT devices and the demands of Deep Learning have highlighted significant challenges in Distributed Deep Learning (DDL) systems. Parallel Split Learning (PSL) has emerged as a promising derivative of Split Learning that is well suited for distributed learning on resource-constrained devices. However, PSL faces several obstacles, such as large effective batch sizes, non-IID data distributions, and the straggler effect. We view these issues as a sampling dilemma and propose to address them by orchestrating the mini-batch sampling process on the server side. We introduce the Uniform Global Sampling (UGS) method to decouple the effective batch size from the number of clients and reduce mini-batch deviation in non-IID settings. To address the straggler effect, we introduce the Latent Dirichlet Sampling (LDS) method, which generalizes UGS to balance the trade-off between batch deviation and training time. Our simulations reveal that our proposed methods enhance model accuracy by up to 34.1% in non-IID settings and reduce the training time in the presence of stragglers by up to 62%. In particular, LDS effectively mitigates the straggler effect without compromising model accuracy or adding significant computational overhead compared to UGS. Our results demonstrate the potential of our methods as a promising solution for DDL in real applications.
• Abstract（参考訳）: IoTデバイスの拡大とディープラーニングの要求は、分散ディープラーニング(DDL)システムにおける大きな課題を浮き彫りにした。 Parallel Split Learning (PSL)は、リソース制約のあるデバイスでの分散学習に適したSplit Learningの、有望な派生品として登場した。 しかし、PSLは、大きな有効バッチサイズ、非IIDデータ分布、ストラグラー効果など、いくつかの障害に直面している。 我々は,これらの問題をサンプリングジレンマとみなし,サーバ側でミニバッチサンプリングプロセスを編成して対処することを提案する。 クライアント数から有効バッチサイズを分離し,非IID設定におけるミニバッチ偏差を低減するために,Uniform Global Sampling (UGS) 方式を導入する。 トラグラー効果に対処するため,UGSを一般化した潜在ディリクレサンプリング法(LDS)を導入し,バッチ偏差とトレーニング時間とのトレードオフのバランスをとる。 シミュレーションの結果,提案手法は非IID環境でのモデル精度を最大34.1%向上し,ストラグラーの有無でトレーニング時間を最大62%短縮する。 特に、LSDはモデル精度を損なうことなくストラグラー効果を効果的に軽減し、UGSと比較して計算オーバーヘッドを大幅に増やす。 本結果は,本手法が実アプリケーションにおけるDDLの有望なソリューションとしての可能性を示すものである。

関連論文リスト

• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models [53.638791265113625]
  空間保存型大規模言語モデルのための効率的な微調整法 コードはhttps://github.com/Lucky-Lance/SPP.comで公開される。
  論文  参考訳（メタデータ） (2024-05-25T04:55:27Z)
• On Improving the Algorithm-, Model-, and Data- Efficiency of Self-Supervised Learning [18.318758111829386]
  非パラメトリックなインスタンス識別に基づく効率的なシングルブランチSSL手法を提案する。 また,確率分布と正方形根版とのKL分散を最小限に抑える新しい自己蒸留損失を提案する。
  論文  参考訳（メタデータ） (2024-04-30T06:39:04Z)
• On Pretraining Data Diversity for Self-Supervised Learning [57.91495006862553]
  我々は、より多様なデータセットを用いたトレーニングが、固定された計算予算の下での自己教師付き学習(SSL)のパフォーマンスに与える影響について検討する。 以上の結果から,事前学習データの多様性の増大はSSL性能を向上させるが,下流データへの分布距離が最小である場合に限る。
  論文  参考訳（メタデータ） (2024-03-20T17:59:58Z)
• Peer-to-Peer Learning + Consensus with Non-IID Data [0.0]
  ピアツーピアのディープラーニングアルゴリズムにより、分散エッジデバイスは、生のトレーニングデータを交換したり、中央サーバーに依存することなく、ディープニューラルネットワークを協調的にトレーニングすることができる。 モデルドリフトが局所訓練およびコンセンサスフェーズ後の試験性能に有意な振動をもたらすことを観察した。 次に、性能振動を増幅する要因を特定し、新たなアプローチであるAffinityを用いたP2PLが、追加の通信コストを発生させることなく、非IID環境での試験性能振動を減衰させることを示した。
  論文  参考訳（メタデータ） (2023-12-21T06:28:02Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• An Adaptive Plug-and-Play Network for Few-Shot Learning [12.023266104119289]
  少数のサンプルから学んだ後、新しいサンプルを分類するモデルが必要である。 ディープネットワークと複雑なメトリクスはオーバーフィッティングを引き起こす傾向があり、パフォーマンスをさらに改善することは困難である。 プラグアンドプレイ型モデル適応型リサイザ (MAR) とアダプティブ類似度測定器 (ASM) をその他の損失なく提案する。
  論文  参考訳（メタデータ） (2023-02-18T13:25:04Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
  Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。 FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。 MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
  論文  参考訳（メタデータ） (2020-07-18T09:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。