論文の概要: SMoFi: Step-wise Momentum Fusion for Split Federated Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2511.09828v2
• Date: Sun, 16 Nov 2025 21:33:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:22.400532
• Title: SMoFi: Step-wise Momentum Fusion for Split Federated Learning on Heterogeneous Data
• Title（参考訳）: SMoFi: 異種データに基づく分散学習のためのステップワイドモーメント融合
• Authors: Mingkun Yang, Ran Zhu, Qing Wang, Jie Yang,
• Abstract要約: Split Federated Learningは、モデルのパーティションをトレーニングするために、中央サーバでリッチなコンピューティングリソースを使用する。 サイロ間のデータの異質性は、グローバルモデルの収束速度と精度を損なう大きな課題である。 本稿では,勾配の発散に対処する効果的で軽量なフレームワークであるSMoFiについて紹介する。
• 参考スコア（独自算出の注目度）: 11.41105795202393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Split Federated Learning is a system-efficient federated learning paradigm that leverages the rich computing resources at a central server to train model partitions. Data heterogeneity across silos, however, presents a major challenge undermining the convergence speed and accuracy of the global model. This paper introduces Step-wise Momentum Fusion (SMoFi), an effective and lightweight framework that counteracts gradient divergence arising from data heterogeneity by synchronizing the momentum buffers across server-side optimizers. To control gradient divergence over the training process, we design a staleness-aware alignment mechanism that imposes constraints on gradient updates of the server-side submodel at each optimization step. Extensive validations on multiple real-world datasets show that SMoFi consistently improves global model accuracy (up to 7.1%) and convergence speed (up to 10.25$\times$). Furthermore, SMoFi has a greater impact with more clients involved and deeper learning models, making it particularly suitable for model training in resource-constrained contexts.
• Abstract（参考訳）: Split Federated Learningは、中央サーバのリッチコンピューティングリソースを活用してモデルのパーティションをトレーニングする、システム効率のフェデレーション学習パラダイムである。 しかし、サイロ間のデータの異質性は、グローバルモデルの収束速度と精度を損なう大きな課題である。 本稿では,サーバサイドオプティマイザ間で運動量バッファを同期させることにより,データの不均一性に起因する勾配のばらつきに対処する,効果的で軽量なフレームワークであるStep-wise Momentum Fusion(SMoFi)を紹介する。 トレーニングプロセス上の勾配のばらつきを制御するため,各最適化ステップにおいてサーバ側サブモデルの勾配更新に制約を課す安定化対応アライメント機構を設計する。 複数の実世界のデータセットに対する大規模な検証は、SMoFiが一貫してグローバルモデル精度(最大7.1%)と収束速度(最大10.25$\times$)を改善していることを示している。 さらに、SMoFiはより多くのクライアントとより深い学習モデルに影響を与え、リソース制約のあるコンテキストにおけるモデルトレーニングに特に適している。

関連論文リスト

• Efficient Federated Learning with Timely Update Dissemination [54.668309196009204]
  分散データ管理のための魅力的な方法論として、フェデレートラーニング(FL)が登場した。 そこで本稿では,ダウンリンクの帯域幅を削減し,タイムリーな更新を確実にするための効率的なFL手法を提案する。
  論文  参考訳（メタデータ） (2025-07-08T14:34:32Z)
• FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning [12.307490659840845]
  フェデレートラーニング(FL)は、様々なクライアントからローカルに最適化されたモデルと、統一されたグローバルモデルを組み合わせる。 FLは、性能劣化、収束の遅さ、グローバルモデルの堅牢性低下など、重大な課題に直面している。 これらの問題を効果的に解決するために、革新的なデュアルストラテジーアプローチを導入する。
  論文  参考訳（メタデータ） (2024-12-05T18:42:29Z)
• HeteroTune: Efficient Federated Learning for Large Heterogeneous Models [35.53420882449293]
  HeteroTuneは,限られた通信と予算の下で動作する大規模異種モデルのための,新しいファインチューニングパラダイムである。 我々の手法のコアは、異種モデルの柔軟かつ効率的な集約を可能にする新しいアーキテクチャであるDeMAにある。 We provide the theory analysis and empirical evidence shows that HeteroTune achieves state-of-the-art performance and efficiency across various task and model architectures。
  論文  参考訳（メタデータ） (2024-11-25T09:58:51Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Mitigating System Bias in Resource Constrained Asynchronous Federated Learning Systems [2.8790600498444032]
  本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。 提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
  論文  参考訳（メタデータ） (2024-01-24T10:51:15Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Stochastic Coded Federated Learning: Theoretical Analysis and Incentive Mechanism Design [18.675244280002428]
  我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。 SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。 SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-11-08T09:58:36Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。