論文の概要: Breaking the Memory Wall for Heterogeneous Federated Learning via Model Splitting

• arxiv url: http://arxiv.org/abs/2410.11577v1
• Date: Sat, 12 Oct 2024 18:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:00:40.169648
• Title: Breaking the Memory Wall for Heterogeneous Federated Learning via Model Splitting
• Title（参考訳）: モデル分割による不均一なフェデレーション学習のための記憶壁の破壊
• Authors: Chunlin Tian, Li Li, Kahou Tam, Yebo Wu, Chengzhong Xu,
• Abstract要約: フェデレートラーニング(FL)は、データプライバシを保持しながら、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする。 参加するデバイス上の限られたメモリリソースと組み合わさったモデル複雑性の増大は、現実のシナリオにおけるFLの展開を著しくボトルネックにする。 本稿では,デバイス側のメモリフットプリントを効果的に削減するフレームワークであるSmartSplitを提案する。
• 参考スコア（独自算出の注目度）: 16.42580791094151
• License:
• Abstract: Federated Learning (FL) enables multiple devices to collaboratively train a shared model while preserving data privacy. Ever-increasing model complexity coupled with limited memory resources on the participating devices severely bottlenecks the deployment of FL in real-world scenarios. Thus, a framework that can effectively break the memory wall while jointly taking into account the hardware and statistical heterogeneity in FL is urgently required. In this paper, we propose SmartSplit, a framework that effectively reduces the memory footprint on the device side while guaranteeing the training progress and model accuracy for heterogeneous FL through model splitting.Towards this end, SmartSplit employs a hierarchical structure to adaptively guide the overall training process. In each training round, the central manager, hosted on the server, dynamically selects the participating devices and sets the cutting layer by jointly considering the memory budget, training capacity, and data distribution of each device. The MEC manager, deployed within the edge server, proceeds to split the local model and perform training of the server-side portion. Meanwhile, it fine-tunes the splitting points based on the time-evolving statistical importance. The on-device manager, embedded inside each mobile device, continuously monitors the local training status while employing cost-aware checkpointing to match the runtime dynamic memory budget. Extensive experiments on representative datasets are conducted on both commercial off-the-shelf mobile device testbeds. The experimental results show that SmartSplit excels in FL training on highly memory-constrained mobile SoCs, offering up to a 94% peak latency reduction and 100-fold memory savings. It enhances accuracy performance by 1.49%-57.18% and adaptively adjusts to dynamic memory budgets through cost-aware recomputation.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保持しながら、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする。 参加するデバイス上の限られたメモリリソースと組み合わさったモデル複雑性の増大は、現実のシナリオにおけるFLの展開を著しくボトルネックにする。 これにより、FLのハードウェア及び統計的不均一性を共同で考慮しつつ、メモリ壁を効果的に破壊することのできるフレームワークが緊急に必要となる。 本稿では,デバイス側のメモリフットプリントを効果的に削減するフレームワークであるSmartSplitを提案する。 各トレーニングラウンドでは、サーバにホストされた中央管理者が参加デバイスを動的に選択し、各デバイスのメモリ予算、トレーニング能力、データ分散を共同で考慮して切断層を設定する。 エッジサーバ内にデプロイされたMECマネージャは、ローカルモデルを分割し、サーバ側の部分のトレーニングを実行する。 一方、時間進化する統計的重要性に基づいて分割点を微調整する。 各モバイルデバイスに埋め込まれたオンデバイスマネージャは、実行時の動的メモリ予算に合わせてコストを意識したチェックポイントを使用しながら、ローカルトレーニングステータスを継続的に監視する。 市販オフザシェルフモバイルデバイステストベッドの両方で、代表データセットに関する大規模な実験が実施されている。 実験の結果,SmartSplitは,高メモリ制約のモバイル SoC 上での FL トレーニングに優れ,94% のピークレイテンシ削減と100倍のメモリ節約を実現していることがわかった。 精度は1.49%-57.18%向上し、コストを意識した再計算によって動的メモリ予算に適応的に調整される。

関連論文リスト

• CaBaFL: Asynchronous Federated Learning via Hierarchical Cache and Feature Balance [23.125185494897522]
  有望な分散機械学習パラダイムとしてのフェデレートラーニング(FL)は、AIoT(Artificial Intelligence of Things)アプリケーションで広く採用されている。 FLの効率性と推論能力は、トラグラーの存在と大規模なAIoTデバイス間のデータの不均衡により、著しく制限されている。 本稿では,階層型キャッシュベースのアグリゲーション機構と機能バランス誘導型デバイス選択戦略を含む,CaBaFLという新しいFLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-19T12:39:11Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Memory-adaptive Depth-wise Heterogenous Federated Learning [24.13198329419849]
  FLにFeDepthというメモリ適応型深度学習ソリューションを導入し,各クライアントのメモリ予算に応じて,全モデルをブロックに適応的に分解する。 CIFAR-10 と CIFAR-100 では,CIFAR-10 と CIFAR-100 でそれぞれ 5% と 10% 以上の精度向上を実現した。
  論文  参考訳（メタデータ） (2023-03-08T20:52:57Z)
• FedDCT: Federated Learning of Large Convolutional Neural Networks on Resource Constrained Devices using Divide and Collaborative Training [13.072061144206097]
  我々は,リソース制限エッジデバイス上で大規模かつ高性能なCNNを使用できる分散学習パラダイムであるFedDCTを紹介する。 我々は、CIFAR-10、CIFAR-100、および2つの実世界の医療データセットHAM10000、VAIPEを含む標準化されたデータセットの実験を経験的に実施する。 他の既存手法と比較して、FedDCTは精度が高く、通信ラウンドの回数を大幅に削減する。
  論文  参考訳（メタデータ） (2022-11-20T11:11:56Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。