論文の概要: Latency-Aware Client Assignment for Parallel Split Learning With Global Sampling
- arxiv url: http://arxiv.org/abs/2609.32132v1
- Date: Sat, 26 Sep 2026 01:28:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 19:33:16.48379
- Title: Latency-Aware Client Assignment for Parallel Split Learning With Global Sampling
- Title(参考訳): グローバルサンプリングによる並列スプリット学習のためのレイテンシを考慮したクライアントアサインメント
- Abstract要約: Budgeted Parallel Split Learning with Global Smplingは、各プールされたバッチの整数クラスターゲットを、サンプルを提供するクライアントの選択から分離する。
CIFAR-10では、フロー変種はトレーニング時間を6.75%削減し、最終的な精度は0.30ポイント低下する。
クライアント毎に20の候補クラスを持つTiny ImageNetでは、高速なバリエーションによってモデル化された時間を16.87%削減し、レイテンシを意識しないベースラインよりも早く4つのバリデーションターゲットに到達している。
- 参考スコア(独自算出の注目度): 14.704691617371237
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In cross-silo split learning, Parallel Split Learning with Global Sampling forms representative pooled batches when class distributions differ across clients, but ignores client delay when several clients can supply the same class. We introduce Latency Budgeted Parallel Split Learning with Global Sampling, which separates each pooled batch's integer class target from the choice of clients that supply its examples. The flow variant formulates this assignment as an integral network-flow problem and minimizes modeled client-side completion time for the current target. The fast variant uses a greedy next-completion rule to reduce schedule-construction cost. Both preserve the target stream and use every local example once per epoch. A planning rule selects between the variants while accounting for the cost of constructing both candidate schedules. On CIFAR-10, the flow variant reduces modeled training time by 6.75%, with a 0.30 percentage-point decrease in final accuracy. On Tiny ImageNet with 20 candidate classes per client, the fast variant reduces modeled time by 16.87% and reaches all four validation targets earlier than the latency-unaware baseline. Across 405 schedule comparisons, the planning rule stays within 2% of the lower realized cost in 96.54% of cases. In our evaluation, latency-aware provider assignment reduces modeled training time without changing the prescribed class targets, while the preferred variant depends on whether assignment savings outweigh schedule-construction overhead.
- Abstract(参考訳): クロスサイロ分割学習では、Parallel Split Learning with Global Smplingは、クラス分散がクライアント間で異なる場合に、プールされたバッチを代表的に表現するが、複数のクライアントが同じクラスを供給できる場合は、クライアントの遅延を無視する。
我々は、各プールされたバッチの整数クラスターゲットを、サンプルを提供するクライアントの選択から分離する、グローバルサンプリングによる遅延予算並列分割学習を導入する。
フロー変種は、この割り当てを統合的なネットワークフロー問題として定式化し、現在のターゲットに対するモデル化されたクライアント側完了時間を最小化する。
高速な変種は、スケジュール構築コストを削減するためにgreedy next-completionルールを使用する。
どちらもターゲットストリームを保持し、エポック毎にすべてのローカルサンプルを使用する。
計画ルールは、両方の候補スケジュールを構築するコストを考慮しつつ、変種間で選択する。
CIFAR-10では、フロー変種はトレーニング時間を6.75%削減し、最終的な精度は0.30ポイント低下する。
クライアント毎に20の候補クラスを持つTiny ImageNetでは、高速なバリエーションによってモデル化された時間を16.87%削減し、レイテンシを意識しないベースラインよりも早く4つのバリデーションターゲットに到達している。
405回のスケジュール比較では、計画規則は96.54%のケースにおいて、実現したコストの2%以内に留まっている。
評価において、遅延対応プロバイダの割り当ては、所定のクラスターゲットを変更することなく、モデル化されたトレーニング時間を短縮するが、望ましいバリエーションは、割り当ての節約がスケジュール構成のオーバーヘッドを上回るかどうかに依存する。
関連論文リスト
- Concurrent Split Learning Through Stable Client Clustering [14.704691617371237]
固定されたグローバルバッチによるトレーニングは、任意の1ステップでサンプルを提供する分散クライアントの数を制限する。
個別のワークロードによって処理されるバッチを増やすことなく、追加のサーバワーカーを使用する方法を検討する。
論文 参考訳(メタデータ) (2026-09-24T11:23:50Z) - Hidden in Rounds: Predicting the Time Cost of 802.11 Contention in Federated Learning [2.313256061695585]
IEEE802.11上のフェデレートラーニングは、モデル更新を送信するクライアント間で無線チャンネルを共有している。
ns-3を用いて、異なるクライアント密度のフレーム配信比と飽和スループットを測定し、負荷を提示する。
別個のFedAvgトレーナーは、フレーム配信比率を更新完了確率の1次プロキシとして使用し、通信時間を推定するために方程式を使用する。
論文 参考訳(メタデータ) (2026-09-11T14:30:26Z) - LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding [67.61563011564388]
投機的復号化は自己回帰型大言語モデル(LLM)推論を加速させる。
標準トレーニングは、プロキシ目的としてKullback-Leibler(KL)の発散を最小限にする。
受入率を直接目標とする特別な訓練目標であるLK損失を提案する。
論文 参考訳(メタデータ) (2026-02-27T10:20:11Z) - Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling [75.36692892951018]
トレーニング中のバッチサイズの増加は、大規模な言語モデルの事前トレーニングを加速するための有望な戦略である。
この研究はバッチサイズスケジューリングのための原則化されたフレームワークを開発する。
標準スケジューラが学習率を半減するたびに、Seesawは1/sqrt2$と倍増し、バッチサイズを倍増します。
論文 参考訳(メタデータ) (2025-10-16T14:17:38Z) - Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。
テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-11T23:02:26Z) - Federated Learning with Regularized Client Participation [1.433758865948252]
Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。
FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。
本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
論文 参考訳(メタデータ) (2023-02-07T18:26:07Z) - Clustered Scheduling and Communication Pipelining For Efficient Resource
Management Of Wireless Federated Learning [6.753282396352072]
本稿では,コミュニケーションパイプラインを用いて,フェデレート学習の無線スペクトル利用効率と収束速度を向上させることを提案する。
我々は、異なる設定下で最適なクライアントクラスタリングのための汎用的な定式化を行い、最適解を得るための効率的なアルゴリズムを解析的に導出する。
論文 参考訳(メタデータ) (2022-06-15T16:23:19Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Client Selection Approach in Support of Clustered Federated Learning
over Wireless Edge Networks [2.6774008509840996]
CFL(Clustered Federated Multitask Learning)は、信頼性の高い専門モデルを得るための効率的なスキームとして導入された。
本稿では,特殊な機械学習モデルを得るための収束率の向上を目的とした,新しいクライアント選択アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-08-16T21:38:22Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z) - Timely Communication in Federated Learning [65.1253801733098]
我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。
提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。
各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
論文 参考訳(メタデータ) (2020-12-31T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。