論文の概要: Server Averaging for Federated Learning

• arxiv url: http://arxiv.org/abs/2103.11619v1
• Date: Mon, 22 Mar 2021 07:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-24 04:32:58.299140
• Title: Server Averaging for Federated Learning
• Title（参考訳）: フェデレーション学習のためのサーバ平均化
• Authors: George Pu, Yanlin Zhou, Dapeng Wu, Xiaolin Li
• Abstract要約: フェデレーションラーニングにより、分散デバイスは、ローカルデータセットを中央サーバーで共有または開示することなく、モデルをまとめてトレーニングできます。 フェデレーション学習のプライバシの改善は、より高い計算と通信コストを含む課題も導入する。 収束を加速するサーバ平均化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 14.846231685735592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning allows distributed devices to collectively train a model without sharing or disclosing the local dataset with a central server. The global model is optimized by training and averaging the model parameters of all local participants. However, the improved privacy of federated learning also introduces challenges including higher computation and communication costs. In particular, federated learning converges slower than centralized training. We propose the server averaging algorithm to accelerate convergence. Sever averaging constructs the shared global model by periodically averaging a set of previous global models. Our experiments indicate that server averaging not only converges faster, to a target accuracy, than federated averaging (FedAvg), but also reduces the computation costs on the client-level through epoch decay.
• Abstract（参考訳）: フェデレートされた学習により、分散デバイスは、中央サーバでローカルデータセットを共有したり公開したりすることなく、モデルを集合的にトレーニングすることができる。 グローバルモデルは、すべてのローカル参加者のモデルパラメータのトレーニングと平均化によって最適化される。 しかし、フェデレート学習のプライバシー向上は、高い計算と通信コストを含む課題ももたらしている。 特に、連合学習は集中トレーニングよりも遅く収束する。 本稿では,サーバ平均化アルゴリズムを提案する。 sever averagingは、以前のグローバルモデルの集合を定期的に平均することにより、共有グローバルモデルを構築する。 実験の結果,サーバ平均化は,フェデレート平均化(FedAvg)よりも高速に収束するだけでなく,エポック崩壊によるクライアントレベルの計算コストを低減できることがわかった。

関連論文リスト

• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• Scheduling and Communication Schemes for Decentralized Federated Learning [0.31410859223862103]
  勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。 DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。 その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2023-11-27T17:35:28Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
  フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。 FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。 FLの主な課題の1つは、通信オーバーヘッドである。 本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-05T22:09:21Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Federated learning with class imbalance reduction [24.044750119251308]
  フェデレートラーニング(Federated Learning, FL)は、多数のエッジコンピューティングデバイスが協調してグローバルラーニングモデルをトレーニングすることを可能にする技術である。 プライバシー上の懸念から、デバイス上の生データは集中型サーバでは利用できない。 本稿では,生データを意識せずにクラス分布を明らかにするための推定手法を提案する。
  論文  参考訳（メタデータ） (2020-11-23T08:13:43Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)
• Coded Federated Learning [5.375775284252717]
  フェデレートラーニング(Federated Learning)とは、クライアントデバイスに分散した分散データからグローバルモデルをトレーニングする手法である。 この結果から,CFLでは,符号化されていない手法に比べて,大域的モデルを約4倍の速度で収束させることができることがわかった。
  論文  参考訳（メタデータ） (2020-02-21T23:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。