論文の概要: On the Convergence and Stability of Distributed Sub-model Training

• arxiv url: http://arxiv.org/abs/2511.06132v1
• Date: Sat, 08 Nov 2025 20:51:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.773061
• Title: On the Convergence and Stability of Distributed Sub-model Training
• Title（参考訳）: 分散サブモデルトレーニングの収束性と安定性について
• Authors: Yuyang Deng, Fuli Qiao, Mehrdad Mahdavi,
• Abstract要約: サーバがランダムにサンプル化したサブモデルをエッジクライアントに配布するだけで、クライアントはこれらの小さなモデルを更新するだけでよい。 分散シャッフルサブモデルトレーニングでは,全モデルを事前に複数のサブモデルに分割し,サーバがそれらのサブモデルをシャッフルし,各ラウンドで各サブモデルをクライアントに送信し,ローカル更新期間の終わりまでにクライアントが更新されたサブモデルを返送し,サーバがそれらを平均化する。
• 参考スコア（独自算出の注目度）: 18.835495044657325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As learning models continue to grow in size, enabling on-device local training of these models has emerged as a critical challenge in federated learning. A popular solution is sub-model training, where the server only distributes randomly sampled sub-models to the edge clients, and clients only update these small models. However, those random sampling of sub-models may not give satisfying convergence performance. In this paper, observing the success of SGD with shuffling, we propose a distributed shuffled sub-model training, where the full model is partitioned into several sub-models in advance, and the server shuffles those sub-models, sends each of them to clients at each round, and by the end of local updating period, clients send back the updated sub-models, and server averages them. We establish the convergence rate of this algorithm. We also study the generalization of distributed sub-model training via stability analysis, and find that the sub-model training can improve the generalization via amplifying the stability of training process. The extensive experiments also validate our theoretical findings.
• Abstract（参考訳）: 学習モデルのサイズが拡大するにつれて、これらのモデルのデバイス上でのローカルトレーニングを可能にすることが、連合学習における重要な課題として現れている。 サーバがランダムにサンプル化したサブモデルをエッジクライアントに配布するだけで、クライアントはこれらの小さなモデルを更新するだけでよい。 しかし、これらのサブモデルのランダムサンプリングは、満足な収束性能を与えないかもしれない。 本稿では,SGD の成功をシャッフルで観察し,全モデルを事前に複数のサブモデルに分割し,サーバがそれらのサブモデルをシャッフルし,各ラウンドで各サブモデルをクライアントに送信し,ローカル更新期間の終わりまでにクライアントが更新されたサブモデルを返送し,サーバがそれらを平均化する分散シャッフルサブモデルトレーニングを提案する。 我々はこのアルゴリズムの収束率を確立する。 また、安定性解析による分散サブモデルトレーニングの一般化について検討し、トレーニングプロセスの安定性を増幅することにより、サブモデルトレーニングが一般化を向上できることを見出した。 広範な実験は、我々の理論的な結果も検証する。

関連論文リスト

• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• The Limitations of Model Retraining in the Face of Performativity [6.130998208629276]
  簡単な分布シフトであっても, ナイーブリトレーニングは, 確実に準最適であることを示す。 再学習に正規化を加えることで、これら2つの問題を正し、分布シフトに直面した証明可能な最適モデルが得られることを示す。
  論文  参考訳（メタデータ） (2024-08-16T02:53:01Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
  Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。 本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。 我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
  論文  参考訳（メタデータ） (2023-05-31T07:00:42Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Federated Learning of Large Models at the Edge via Principal Sub-Model Training [22.54297471651581]
  Federated Learning (FL)は、クライアント間の協調的なトレーニングを可能にする、人気のある、有望な分散型学習フレームワークとして浮上している。 本研究では,PriSM(Principal Sub-model)トレーニング手法を開発し,サーバモデルに対する確率的低ランク近似である小さなサブモデルを各クライアントに割り当てる。
  論文  参考訳（メタデータ） (2022-08-28T05:17:03Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。