論文の概要: Ampere: Communication-Efficient and High-Accuracy Split Federated Learning

• arxiv url: http://arxiv.org/abs/2507.07130v1
• Date: Tue, 08 Jul 2025 20:54:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.131768
• Title: Ampere: Communication-Efficient and High-Accuracy Split Federated Learning
• Title（参考訳）: Ampere: コミュニケーション効率が高く,高精度なフェデレーションラーニング
• Authors: Zihan Zhang, Leon Wong, Blesson Varghese,
• Abstract要約: フェデレートラーニング(FL)システムは、デバイスとサーバをまたいだニューラルネットワークを協調的にトレーニングするが、デバイス上での計算コストによって制限される。 デバイス上での計算処理とデバイスサーバ間の通信を同時に最小化する新しい協調学習システムであるAmpereを提案する。 軽量補助ネットワーク生成方法は、デバイスとサーバ間のトレーニングを分離し、単一転送への頻繁な中間交換を低減させる。
• 参考スコア（独自算出の注目度）: 19.564340315424413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Federated Learning (FL) system collaboratively trains neural networks across devices and a server but is limited by significant on-device computation costs. Split Federated Learning (SFL) systems mitigate this by offloading a block of layers of the network from the device to a server. However, in doing so, it introduces large communication overheads due to frequent exchanges of intermediate activations and gradients between devices and the server and reduces model accuracy for non-IID data. We propose Ampere, a novel collaborative training system that simultaneously minimizes on-device computation and device-server communication while improving model accuracy. Unlike SFL, which uses a global loss by iterative end-to-end training, Ampere develops unidirectional inter-block training to sequentially train the device and server block with a local loss, eliminating the transfer of gradients. A lightweight auxiliary network generation method decouples training between the device and server, reducing frequent intermediate exchanges to a single transfer, which significantly reduces the communication overhead. Ampere mitigates the impact of data heterogeneity by consolidating activations generated by the trained device block to train the server block, in contrast to SFL, which trains on device-specific, non-IID activations. Extensive experiments on multiple CNNs and transformers show that, compared to state-of-the-art SFL baseline systems, Ampere (i) improves model accuracy by up to 13.26% while reducing training time by up to 94.6%, (ii) reduces device-server communication overhead by up to 99.1% and on-device computation by up to 93.13%, and (iii) reduces standard deviation of accuracy by 53.39% for various non-IID degrees highlighting superior performance when faced with heterogeneous data.
• Abstract（参考訳）: フェデレートラーニング(FL)システムは、デバイスとサーバをまたいだニューラルネットワークを協調的にトレーニングするが、デバイス上での計算コストによって制限される。 Split Federated Learning (SFL) システムは、デバイスからサーバへのネットワークのブロックをオフロードすることで、これを緩和する。 しかし、デバイスとサーバ間の中間的アクティベーションと勾配の頻繁な交換による通信オーバーヘッドが大きくなり、非IIDデータのモデル精度が低下する。 モデル精度を向上しつつ、デバイス上の計算とデバイスサーバ間の通信を同時に最小化する新しい協調学習システムであるAmpereを提案する。 反復的なエンドツーエンドトレーニングによるグローバルな損失を使用するSFLとは異なり、Ampereはデバイスとサーバブロックを局所的な損失で逐次トレーニングする一方向のブロック間トレーニングを開発し、勾配の移動を排除している。 デバイスとサーバ間のトレーニングを分離し、単一転送への頻繁な中間交換を削減し、通信オーバーヘッドを大幅に低減する。 Ampereは、デバイス固有の非IIDアクティベーションをトレーニングするSFLとは対照的に、トレーニングされたデバイスブロックによって生成されたアクティベーションを統合してサーバブロックをトレーニングすることによって、データ不均一性の影響を緩和する。 複数のCNNとトランスフォーマーの大規模な実験により、最先端のSFLベースラインシステムであるAmpereと比較された。 (i)モデルの精度を最大13.26%改善し、トレーニング時間を最大94.6%短縮する。 (ii) デバイスサーバ間の通信オーバーヘッドを最大99.1%削減し、デバイス上での計算を最大93.13%削減し、 (iii)不均一なデータに直面する場合の優れた性能を強調させる様々な非IID度に対して、精度の標準偏差を53.39%削減する。

関連論文リスト

• Resource Utilization Optimized Federated Learning [19.564340315424413]
  フェデレートラーニング(FL)システムは、サーバと複数のデバイスにまたがる分散機械学習を容易にする。 本稿では,資源最適化FLシステムであるFedOptimaを紹介する。
  論文  参考訳（メタデータ） (2025-03-10T20:23:39Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• Edge-assisted U-Shaped Split Federated Learning with Privacy-preserving for Internet of Things [4.68267059122563]
  本稿では,エッジサーバの高性能機能を活用した,エッジ支援型U-Shaped Split Federated Learning (EUSFL) フレームワークを提案する。 このフレームワークでは、フェデレートラーニング(FL)を活用し、データ保持者がデータを共有せずに協調的にモデルをトレーニングできるようにします。 また,データの特徴やラベルが復元攻撃に対して確実に耐えられるように,ラベルDPと呼ばれる新しいノイズ機構を提案する。
  論文  参考訳（メタデータ） (2023-11-08T05:14:41Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• FedAdapt: Adaptive Offloading for IoT Devices in Federated Learning [2.5775113252104216]
  Internet-of-Thingsデバイス上でのフェデレートラーニング(FL)は、それらが生成する大量のデータと、データプライバシに関する懸念によって必要になる。 本稿では、上記の課題を軽減するための適応型オフロードFLフレームワークであるFedAdaptについて述べる。
  論文  参考訳（メタデータ） (2021-07-09T07:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。