論文の概要: Parallel Split Learning with Global Sampling

• arxiv url: http://arxiv.org/abs/2407.15738v1
• Date: Mon, 22 Jul 2024 15:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 14:20:51.535219
• Title: Parallel Split Learning with Global Sampling
• Title（参考訳）: グローバルサンプリングによる並列スプリット学習
• Authors: Mohammad Kohankhaki, Ahmad Ayad, Mahdi Barhoush, Anke Schmeink,
• Abstract要約: 並列分割学習(PSL)は、リソース制約のあるデバイスでの分散学習に適している。 PSLは、大きな有効バッチサイズ、非IIDデータ分散、ストラグラー効果など、いくつかの障害に直面している。 クライアント数から有効バッチサイズを分離し,非IID設定におけるミニバッチ偏差を低減するために,Uniform Global Sampling (UGS) 方式を導入する。 シミュレーションの結果,提案手法は非IID環境でのモデル精度を最大34.1%向上し,ストラグラー存在下でのトレーニング時間を最大62%短縮することがわかった。
• 参考スコア（独自算出の注目度）: 9.57839529462706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The expansion of IoT devices and the demands of Deep Learning have highlighted significant challenges in Distributed Deep Learning (DDL) systems. Parallel Split Learning (PSL) has emerged as a promising derivative of Split Learning that is well suited for distributed learning on resource-constrained devices. However, PSL faces several obstacles, such as large effective batch sizes, non-IID data distributions, and the straggler effect. We view these issues as a sampling dilemma and propose to address them by orchestrating the mini-batch sampling process on the server side. We introduce the Uniform Global Sampling (UGS) method to decouple the effective batch size from the number of clients and reduce mini-batch deviation in non-IID settings. To address the straggler effect, we introduce the Latent Dirichlet Sampling (LDS) method, which generalizes UGS to balance the trade-off between batch deviation and training time. Our simulations reveal that our proposed methods enhance model accuracy by up to 34.1% in non-IID settings and reduce the training time in the presence of stragglers by up to 62%. In particular, LDS effectively mitigates the straggler effect without compromising model accuracy or adding significant computational overhead compared to UGS. Our results demonstrate the potential of our methods as a promising solution for DDL in real applications.
• Abstract（参考訳）: IoTデバイスの拡大とディープラーニングの要求は、分散ディープラーニング(DDL)システムにおける大きな課題を浮き彫りにした。 Parallel Split Learning (PSL)は、リソース制約のあるデバイスでの分散学習に適したSplit Learningの、有望な派生品として登場した。 しかし、PSLは、大きな有効バッチサイズ、非IIDデータ分布、ストラグラー効果など、いくつかの障害に直面している。 我々は,これらの問題をサンプリングジレンマとみなし,サーバ側でミニバッチサンプリングプロセスを編成して対処することを提案する。 クライアント数から有効バッチサイズを分離し,非IID設定におけるミニバッチ偏差を低減するために,Uniform Global Sampling (UGS) 方式を導入する。 トラグラー効果に対処するため,UGSを一般化した潜在ディリクレサンプリング法(LDS)を導入し,バッチ偏差とトレーニング時間とのトレードオフのバランスをとる。 シミュレーションの結果,提案手法は非IID環境でのモデル精度を最大34.1%向上し,ストラグラーの有無でトレーニング時間を最大62%短縮する。 特に、LSDはモデル精度を損なうことなくストラグラー効果を効果的に軽減し、UGSと比較して計算オーバーヘッドを大幅に増やす。 本結果は,本手法が実アプリケーションにおけるDDLの有望なソリューションとしての可能性を示すものである。

関連論文リスト

• Aioli: A Unified Optimization Framework for Language Model Data Mixing [74.50480703834508]
  既存の手法では、グループごとの平均的なテストパープレキシティにおいて、単純な階層化サンプリングベースラインを一貫して上回る結果が得られない。 我々は、Aioliという新しいオンライン手法を導き、トレーニング全体を通して法パラメータの混合を直接推定し、それらを用いて比率を動的に調整する。
  論文  参考訳（メタデータ） (2024-11-08T17:50:24Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent [6.394263208820851]
  フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。 様々な共役者によって保持される生データは、常に不特定に分散される。 本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
  論文  参考訳（メタデータ） (2022-10-07T10:30:39Z)
• Pairwise Learning via Stagewise Training in Proximal Setting [0.0]
  非平滑凸対損失関数の収束保証と、適応的なサンプルサイズとペアワイズ学習のための重要サンプリング手法を組み合わせる。 それぞれに逆のインスタンスをサンプリングすると勾配の分散が減少し、収束が加速することを示した。
  論文  参考訳（メタデータ） (2022-08-08T11:51:01Z)
• Causal Balancing for Domain Generalization [95.97046583437145]
  そこで本研究では,観察されたトレーニング分布の領域特異的なスプリアス相関を低減するために,バランスの取れたミニバッチサンプリング戦略を提案する。 本研究では, 突発性源の同定可能性を保証するとともに, バランスの取れた, 突発性のない分布から, 提案手法が有効にサンプリング可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-10T17:59:11Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
  我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。 新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-06-16T03:43:59Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。