論文の概要: Accelerating Hybrid Federated Learning Convergence under Partial Participation

• arxiv url: http://arxiv.org/abs/2304.05397v1
• Date: Mon, 10 Apr 2023 19:13:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 17:11:38.703249
• Title: Accelerating Hybrid Federated Learning Convergence under Partial Participation
• Title（参考訳）: 部分的参加によるハイブリッドフェデレーション学習の収束促進
• Authors: Jieming Bian, Lei Wang, Kun Yang, Cong Shen, Jie Xu
• Abstract要約: フェデレートラーニング(FL)には、共通のモデルを学ぶために協力する分散型データを持つクライアントのグループが含まれる。 現実的なシナリオでは、サーバは人口分布を概ね模倣した少量のデータを集めることができるかもしれない。 我々は、ハイブリッドFLにおけるサーバの2倍の役割を調査するFedCLGと呼ばれる新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 23.410461721204786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past few years, Federated Learning (FL) has become a popular distributed machine learning paradigm. FL involves a group of clients with decentralized data who collaborate to learn a common model under the coordination of a centralized server, with the goal of protecting clients' privacy by ensuring that local datasets never leave the clients and that the server only performs model aggregation. However, in realistic scenarios, the server may be able to collect a small amount of data that approximately mimics the population distribution and has stronger computational ability to perform the learning process. To address this, we focus on the hybrid FL framework in this paper. While previous hybrid FL work has shown that the alternative training of clients and server can increase convergence speed, it has focused on the scenario where clients fully participate and ignores the negative effect of partial participation. In this paper, we provide theoretical analysis of hybrid FL under clients' partial participation to validate that partial participation is the key constraint on convergence speed. We then propose a new algorithm called FedCLG, which investigates the two-fold role of the server in hybrid FL. Firstly, the server needs to process the training steps using its small amount of local datasets. Secondly, the server's calculated gradient needs to guide the participated clients' training and the server's aggregation. We validate our theoretical findings through numerical experiments, which show that our proposed method FedCLG outperforms state-of-the-art methods.
• Abstract（参考訳）: 過去数年間、フェデレート・ラーニング(FL)は分散機械学習のパラダイムとして人気を博してきた。 flには、集中型サーバの調整の下で共通のモデルを学ぶために協力する分散型データを持つクライアントのグループが含まれており、クライアントのプライバシを保護するために、ローカルデータセットがクライアントを離れないようにし、サーバがモデル集約のみを実行するようにする。 しかし、現実的なシナリオでは、サーバは人口分布を概ね模倣し、学習プロセスを実行する強力な計算能力を持つ少量のデータを集めることができるかもしれない。 これを解決するために、本稿ではハイブリッドFLフレームワークに焦点を当てる。 従来のハイブリッドFL研究は、クライアントとサーバの代替トレーニングが収束速度を向上できることを示したが、クライアントが完全に参加し、部分参加の否定的な効果を無視するシナリオに焦点を当てた。 本稿では,クライアントの部分参加下でのハイブリッドflの理論的解析を行い,部分参加が収束速度の鍵となる制約であることを検証する。 次に、ハイブリッドFLにおけるサーバの2倍の役割を調査するFedCLGというアルゴリズムを提案する。 まず、サーバーはその少量のローカルデータセットを使用してトレーニングステップを処理する必要がある。 第2に、サーバの計算した勾配は、参加するクライアントのトレーニングとサーバの集約を導く必要がある。 本稿では,FedCLG法が最先端手法より優れていることを示す数値実験により理論的知見を検証する。

関連論文リスト

• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• TurboSVM-FL: Boosting Federated Learning through SVM Aggregation for Lazy Clients [44.44776028287441]
  TurboSVM-FLは、クライアント側で追加の計算負荷を発生させることのない、新しい統合集約戦略である。 我々は、FEMNIST、CelebA、シェークスピアを含む複数のデータセット上でTurboSVM-FLを評価する。
  論文  参考訳（メタデータ） (2024-01-22T14:59:11Z)
• Scheduling and Communication Schemes for Decentralized Federated Learning [0.31410859223862103]
  勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。 DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。 その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2023-11-27T17:35:28Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• FedCliP: Federated Learning with Client Pruning [3.796320380104124]
  フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。 マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
  論文  参考訳（メタデータ） (2023-01-17T09:15:37Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
  フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。 FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。 FLの主な課題の1つは、通信オーバーヘッドである。 本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-05T22:09:21Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。