論文の概要: DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training

• arxiv url: http://arxiv.org/abs/2206.00187v1
• Date: Wed, 1 Jun 2022 02:20:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 06:25:40.876352
• Title: DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training
• Title（参考訳）: DisPFL:分散スパーストレーニングによるコミュニケーション効率の高い個人化フェデレーション学習を目指して
• Authors: Rong Dai, Li Shen, Fengxiang He, Xinmei Tian, Dacheng Tao
• Abstract要約: 本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
• 参考スコア（独自算出の注目度）: 84.81043932706375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalized federated learning is proposed to handle the data heterogeneity problem amongst clients by learning dedicated tailored local models for each user. However, existing works are often built in a centralized way, leading to high communication pressure and high vulnerability when a failure or an attack on the central server occurs. In this work, we propose a novel personalized federated learning framework in a decentralized (peer-to-peer) communication protocol named Dis-PFL, which employs personalized sparse masks to customize sparse local models on the edge. To further save the communication and computation cost, we propose a decentralized sparse training technique, which means that each local model in Dis-PFL only maintains a fixed number of active parameters throughout the whole local training and peer-to-peer communication process. Comprehensive experiments demonstrate that Dis-PFL significantly saves the communication bottleneck for the busiest node among all clients and, at the same time, achieves higher model accuracy with less computation cost and communication rounds. Furthermore, we demonstrate that our method can easily adapt to heterogeneous local clients with varying computation complexities and achieves better personalized performances.
• Abstract（参考訳）: 個人化フェデレーション学習は、各ユーザ向けに専用のローカルモデルを学習することで、クライアント間のデータ不均一性問題に対処するために提案される。 しかし、既存の作業は集中的な方法で構築されることが多く、中央サーバへの障害や攻撃が発生すると、高い通信圧力と高い脆弱性が発生する。 本稿では,分散分散(peer-to-peer)通信プロトコルであるdis-pflにおいて,エッジ上のスパースローカルモデルをカスタマイズするためのパーソナライズされたスパースマスクを用いた,新たなパーソナライズされたフェデレーション学習フレームワークを提案する。 通信コストと計算コストをさらに削減するため,Dis-PFLの各ローカルモデルは,ローカルトレーニング全体とピアツーピア通信プロセス全体を通して,一定数のアクティブパラメータしか保持しない分散スパーストレーニング手法を提案する。 包括的実験により、Dis-PFLは全てのクライアントで最も忙しいノードの通信ボトルネックを著しく削減し、同時に計算コストと通信ラウンドを少なくしてより高いモデル精度を実現する。 さらに,計算の複雑度が異なる異種ローカルクライアントへの適応が容易であり,パーソナライズ性能の向上が期待できることを示す。

関連論文リスト

• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
  我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。 我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:52:19Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• Scheduling and Communication Schemes for Decentralized Federated Learning [0.31410859223862103]
  勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。 DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。 その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2023-11-27T17:35:28Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Explicit Personalization and Local Training: Double Communication Acceleration in Federated Learning [7.691755449724637]
  通信コストを削減するための一般的な戦略は、連続する通信ラウンド間で複数の局所勾配降下ステップを実行することで構成されるローカルトレーニングである。 そこで我々は,明示的なパーソナライズとローカルトレーニングを効率的に統合する新しいアルゴリズムであるScafflixを紹介する。
  論文  参考訳（メタデータ） (2023-05-22T15:58:01Z)
• SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training [1.0413504599164103]
  フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。 FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。 本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
  論文  参考訳（メタデータ） (2023-04-15T06:46:37Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。