論文の概要: Parallel Split Learning with Global Sampling

• arxiv url: http://arxiv.org/abs/2407.15738v3
• Date: Sat, 03 May 2025 18:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:34.990738
• Title: Parallel Split Learning with Global Sampling
• Title（参考訳）: グローバルサンプリングによる並列スプリット学習
• Authors: Mohammad Kohankhaki, Ahmad Ayad, Mahdi Barhoush, Anke Schmeink,
• Abstract要約: クライアント側バッチサイズを動的に調整することで,グローバルバッチサイズを一定に保つサーバ駆動サンプリング戦略を導入する。 これにより、参加するデバイスの数から有効なバッチサイズを分離し、グローバルなバッチが全体のデータ分散をよりよく反映できるようにする。 ベンチマークデータセットにおける実験結果から,提案手法はモデルの精度,訓練効率,収束安定性を向上することを確認した。
• 参考スコア（独自算出の注目度）: 9.57839529462706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed deep learning in resource-constrained environments faces scalability and generalization challenges due to large effective batch sizes and non-identically distributed client data. We introduce a server-driven sampling strategy that maintains a fixed global batch size by dynamically adjusting client-side batch sizes. This decouples the effective batch size from the number of participating devices and ensures that global batches better reflect the overall data distribution. Using standard concentration bounds, we establish tighter deviation guarantees compared to existing approaches. Empirical results on a benchmark dataset confirm that the proposed method improves model accuracy, training efficiency, and convergence stability, offering a scalable solution for learning at the network edge.
• Abstract（参考訳）: リソース制約のある環境での分散ディープラーニングは、大規模な効率的なバッチサイズと識別できない分散クライアントデータのため、スケーラビリティと一般化の課題に直面します。 クライアント側バッチサイズを動的に調整することで,グローバルバッチサイズを一定に保つサーバ駆動サンプリング戦略を導入する。 これにより、参加するデバイスの数から有効なバッチサイズを分離し、グローバルなバッチが全体のデータ分散をよりよく反映できるようにする。 標準濃度境界を用いることで、既存のアプローチよりも厳密な偏差保証を確立する。 ベンチマークデータセットの実証結果は,提案手法がモデル精度,トレーニング効率,収束安定性を改善し,ネットワークエッジで学習するためのスケーラブルなソリューションを提供することを確認した。

関連論文リスト

• Aioli: A Unified Optimization Framework for Language Model Data Mixing [74.50480703834508]
  既存の手法では、グループごとの平均的なテストパープレキシティにおいて、単純な階層化サンプリングベースラインを一貫して上回る結果が得られない。 我々は、Aioliという新しいオンライン手法を導き、トレーニング全体を通して法パラメータの混合を直接推定し、それらを用いて比率を動的に調整する。
  論文  参考訳（メタデータ） (2024-11-08T17:50:24Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent [6.394263208820851]
  フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。 様々な共役者によって保持される生データは、常に不特定に分散される。 本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
  論文  参考訳（メタデータ） (2022-10-07T10:30:39Z)
• Pairwise Learning via Stagewise Training in Proximal Setting [0.0]
  非平滑凸対損失関数の収束保証と、適応的なサンプルサイズとペアワイズ学習のための重要サンプリング手法を組み合わせる。 それぞれに逆のインスタンスをサンプリングすると勾配の分散が減少し、収束が加速することを示した。
  論文  参考訳（メタデータ） (2022-08-08T11:51:01Z)
• Causal Balancing for Domain Generalization [95.97046583437145]
  そこで本研究では,観察されたトレーニング分布の領域特異的なスプリアス相関を低減するために,バランスの取れたミニバッチサンプリング戦略を提案する。 本研究では, 突発性源の同定可能性を保証するとともに, バランスの取れた, 突発性のない分布から, 提案手法が有効にサンプリング可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-10T17:59:11Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
  我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。 新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-06-16T03:43:59Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。