論文の概要: Concurrent Split Learning Through Stable Client Clustering
- arxiv url: http://arxiv.org/abs/2609.29395v1
- Date: Thu, 24 Sep 2026 11:23:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.869346
- Title: Concurrent Split Learning Through Stable Client Clustering
- Title(参考訳): 安定したクライアントクラスタリングによる並行スプリット学習
- Abstract要約: 固定されたグローバルバッチによるトレーニングは、任意の1ステップでサンプルを提供する分散クライアントの数を制限する。
個別のワークロードによって処理されるバッチを増やすことなく、追加のサーバワーカーを使用する方法を検討する。
- 参考スコア(独自算出の注目度): 14.704691617371237
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training with a fixed global batch limits how many distributed clients can provide examples in any one step. We examine a way to use additional server workers without increasing the batch processed by an individual workload. Global Clustered Parallel Split Learning (GCPSL) assigns clients to fixed clusters, executes a Parallel Split Learning with Global Sampling (GPSL) workload for each cluster concurrently, and periodically fuses the client and server model segments. In simulations with 256 logical clients, dividing the population across more workloads improves direct data participation, while smaller clusters can incur an accuracy cost. A four-H100 implementation of label-aware GCPSL reaches 85% CIFAR-10 validation accuracy in $6.13 \pm 0.15$ minutes over three matched runs, versus $19.09 \pm 0.45$ minutes when the same workloads are serialized. Within the four-GPU allocation, size-balanced and random fixed affiliations reach the target in similar mean times (5.70 and 5.66 minutes); size balancing increases direct participation by 3.25 percentage points. These measurements characterize a trade-off among execution concurrency, assignment information, participation, and accuracy for stable-client split learning.
- Abstract(参考訳): 固定されたグローバルバッチによるトレーニングは、任意の1ステップでサンプルを提供する分散クライアントの数を制限する。
個別のワークロードによって処理されるバッチを増やすことなく、追加のサーバワーカーを使用する方法を検討する。
Global Clustered Parallel Split Learning (GCPSL)は、クライアントを固定クラスタに割り当て、グローバルサンプリングによるParallel Split Learning (GPSL)ワークロードをクラスタ毎に同時に実行し、クライアントとサーバモデルのセグメントを定期的に融合させる。
256の論理的クライアントによるシミュレーションでは、より多くのワークロードにまたがる集団の分割が直接的なデータ参加を改善する一方で、より小さなクラスタは精度の低いコストを発生させる。
ラベルを意識したGCPSLの4つのH100実装は、一致した3回の実行に対して6.13 \pm 0.15$分でCIFAR-10の検証精度が85%に達し、同じワークロードがシリアライズされると19.09 \pm 0.45$分になる。
4GPUアロケーションでは、サイズバランスとランダムな固定アフィリエイトが同じ平均時間(5.70分と5.66分)で目標に達する。
これらの測定は、実行の並行性、割り当て情報、参加、安定したクライアント分割学習の精度のトレードオフを特徴付ける。
関連論文リスト
- Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models [50.733497395381164]
Agoraは、インターネットグレードリンク上の帯域効率の高いパイプライン並列モデルシャーディングと、複数パーティのフォールトトレラントな集団操作を組み合わせる。
Pluralis-8BはFineWeb-Eduの500Bトークン上の8.6B-パラメータモデルのオープンで無許可の事前トレーニング実行である。
論文 参考訳(メタデータ) (2026-07-14T23:32:18Z) - CycleSL: Server-Client Cyclical Update Driven Scalable Split Learning [60.59553507555341]
本稿では,新たなアグリゲーションフリーな分割学習フレームワークであるCycleSLを紹介する。
ブロック座標降下の交互化によって着想を得たCycleSLは、サーバサイドトレーニングを独立した高レベルの機械学習タスクとして扱う。
実験結果から,CycleSLのモデル性能向上効果が示唆された。
論文 参考訳(メタデータ) (2025-11-23T21:00:21Z) - Sparse-ProxSkip: Accelerated Sparse-to-Sparse Training in Federated Learning [56.21666819468249]
FL(Federated Learning)では、クライアントリソースの制約と通信コストの両方が、大規模モデルのトレーニングに大きな問題を引き起こします。
最近の研究によると、局所的な訓練は加速によってコミュニケーションの複雑さを確実に改善する。
Sparse-ProxSkipを導入し、その課題に対処し、Sparse Training に展開する Straight-Through Estorimat の効率的な手法を実装した。
論文 参考訳(メタデータ) (2024-05-31T05:21:12Z) - Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。
クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。
各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
論文 参考訳(メタデータ) (2023-06-21T17:39:16Z) - Faster Federated Learning with Decaying Number of Local SGD Steps [23.447883712141422]
InNIST Learning (FL)デバイスは、プライベートデータを中央または他のクライアントと共有することなく、機械学習モデルを協調的にトレーニングする。
本稿では、FLモデルの最終的な性能を共同で向上させる訓練が進むにつれて、$K$を提案する。
論文 参考訳(メタデータ) (2023-05-16T17:36:34Z) - FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。
トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。
本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
論文 参考訳(メタデータ) (2023-02-13T18:55:31Z) - Federated Learning with Regularized Client Participation [1.433758865948252]
Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。
FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。
本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
論文 参考訳(メタデータ) (2023-02-07T18:26:07Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳(メタデータ) (2022-09-21T17:37:54Z) - Anchor Sampling for Federated Learning with Partial Client Participation [17.8094483221845]
本稿では,フェデラルクライアント参加のためのフェデラルラーニング(Federated Learning,FedAMD)を提案する。
中心となるアイデアはアンカーサンプリングであり、部分的な参加者をアンカーグループとマイナーグループに分離する。
2つのグループの結果を統合することで、FedAMDはトレーニングプロセスを加速し、モデルのパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2022-06-13T03:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。