論文の概要: Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data

• arxiv url: http://arxiv.org/abs/2408.05678v1
• Date: Sun, 11 Aug 2024 02:59:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 16:07:35.541326
• Title: Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data
• Title（参考訳）: 動的更新とMomentumによる適応型プルーニングを用いた共有サーバデータに基づく効果的なフェデレーション学習
• Authors: Ji Liu, Juncheng Jia, Hong Zhang, Yuhui Yun, Leye Wang, Yang Zhou, Huaiyu Dai, Dejing Dou,
• Abstract要約: フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。 本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。 提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
• 参考スコア（独自算出の注目度）: 59.6985168241067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite achieving remarkable performance, Federated Learning (FL) encounters two important problems, i.e., low training efficiency and limited computational resources. In this paper, we propose a new FL framework, i.e., FedDUMAP, with three original contributions, to leverage the shared insensitive data on the server in addition to the distributed data in edge devices so as to efficiently train a global model. First, we propose a simple dynamic server update algorithm, which takes advantage of the shared insensitive data on the server while dynamically adjusting the update steps on the server in order to speed up the convergence and improve the accuracy. Second, we propose an adaptive optimization method with the dynamic server update algorithm to exploit the global momentum on the server and each local device for superior accuracy. Third, we develop a layer-adaptive model pruning method to carry out specific pruning operations, which is adapted to the diverse features of each layer so as to attain an excellent trade-off between effectiveness and efficiency. Our proposed FL model, FedDUMAP, combines the three original techniques and has a significantly better performance compared with baseline approaches in terms of efficiency (up to 16.9 times faster), accuracy (up to 20.4% higher), and computational cost (up to 62.6% smaller).
• Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、優れた性能を達成しているにもかかわらず、低トレーニング効率と限られた計算資源という2つの重要な問題に直面している。 本稿では、エッジデバイスにおける分散データに加えて、サーバ上の共有不感データを活用することで、グローバルモデルを効率的にトレーニングするための新しいFLフレームワークであるFedDUMAPを提案する。 まず、サーバ上の共有不感なデータを利用して、サーバ上の更新ステップを動的に調整し、コンバージェンスを高速化し、精度を向上する、シンプルな動的サーバ更新アルゴリズムを提案する。 第2に,動的サーバ更新アルゴリズムを用いた適応最適化手法を提案する。 第3に, 各層の多様な特徴に適応し, 有効性と効率の優れたトレードオフを実現するため, 特定の刈り取り作業を行うための層適応型モデル刈取法を開発した。 提案するFLモデルであるFedDUMAPは,3つの元の手法を組み合わせて,効率(最大16.9倍高速),精度(最大20.4%高),計算コスト(最大62.6%小さめ)の点で,ベースラインアプローチに比べ,性能が大幅に向上した。

関連論文リスト

• Fisher Information-based Efficient Curriculum Federated Learning with Large Language Models [43.26028399395612]
  本稿では,2つの新しい手法を用いたフィッシャー情報に基づく効率的なカリキュラムフェデレート学習フレームワーク(FibecFed)を提案する。 まず,各装置内のデータを適応的にサンプリングし,FL微調整プロセスの有効性を向上させるための漁師情報に基づく手法を提案する。 第2に,グローバルアグリゲーションのための適切なレイヤとLoRAによるローカル更新のためのスパースパラメータを動的に選択する。
  論文  参考訳（メタデータ） (2024-09-30T18:12:18Z)
• AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
  異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:18:17Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FedDCT: A Dynamic Cross-Tier Federated Learning Framework in Wireless Networks [5.914766366715661]
  フェデレートラーニング(FL)は、ローカルデータを公開せずにデバイス全体でグローバルモデルをトレーニングする。 無線ネットワークにおけるリソースの不均一性と避けられないストラグラーは、FLトレーニングの効率と正確性に大きな影響を与えます。 動的クロスティアフェデレーション学習フレームワーク(FedDCT)を提案する。
  論文  参考訳（メタデータ） (2023-07-10T08:54:07Z)
• FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server [64.94942635929284]
  フェデレーテッド・ラーニング(FL)は2つの重要な課題、すなわち限られた計算資源と訓練効率の低下に悩まされている。 本稿では,サーバ上の不感なデータとエッジデバイスの分散データを利用する新しいFLフレームワークであるFedDUAPを提案する。 提案するFLモデルであるFedDUAPは,2つの元の手法を統合することで,精度(最大4.8%),効率(最大2.8倍),計算コスト(最大61.9%)において,ベースラインアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2022-04-25T10:00:00Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。