論文の概要: WeiAvg: Federated Learning Model Aggregation Promoting Data Diversity

• arxiv url: http://arxiv.org/abs/2305.16351v1
• Date: Wed, 24 May 2023 21:34:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 19:05:05.995968
• Title: WeiAvg: Federated Learning Model Aggregation Promoting Data Diversity
• Title（参考訳）: WeiAvg: データ多様性を促進するフェデレーション学習モデル
• Authors: Fan Dong, Ali Abbasi, Steve Drew, Henry Leung, Xin Wang, Jiayu Zhou
• Abstract要約: フェデレーション学習は、IoT(Internet-of-Things)デバイスからの大規模プライベートエッジデータを活用するための、有望なプライバシ保護方法を提供する。 重要でしばしば見落とされがちな側面の1つは、参加者がデータから予測的な知識を提供し、学習したフェデレーションモデルの品質に影響を与えることである。 本稿では、高多様性クライアントからの更新を重視し、低多様性クライアントからの更新の影響を低減した重み付き平均化フレームワークを導入することにより、この問題に対処する新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 34.97283435398335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning provides a promising privacy-preserving way for utilizing large-scale private edge data from massive Internet-of-Things (IoT) devices. While existing research extensively studied optimizing the learning process, computing efficiency, and communication overhead, one important and often overlooked aspect is that participants contribute predictive knowledge from their data, impacting the quality of the federated models learned. While FedAvg treats each client equally and assigns weight solely based on the number of samples, the diversity of samples on each client could greatly affect the local update performance and the final aggregated model. In this paper, we propose a novel approach to address this issue by introducing a Weighted Averaging (WeiAvg) framework that emphasizes updates from high-diversity clients and diminishes the influence of those from low-diversity clients. Specifically, we introduced a projection-based approximation method to estimate the diversity of client data, instead of the computation of an entropy. We use the approximation because the locally computed entropy may not be transmitted due to excess privacy risk. Extensive experimental results show that WeiAvg converges faster and achieves higher accuracy than the original FedAvg algorithm and FedProx.
• Abstract（参考訳）: フェデレーション学習は、巨大なIoT(Internet-of-Things)デバイスからの大規模プライベートエッジデータを活用するための、有望なプライバシ保護方法を提供する。 既存の研究は学習プロセス、計算効率、コミュニケーションオーバーヘッドの最適化を幅広く研究しているが、重要でしばしば見過ごされる側面は、参加者がデータから予測的知識を提供し、学習した連合モデルの質に影響を与えることである。 FedAvgは各クライアントを均等に扱い、サンプル数だけに基づいて重みを割り当てるが、各クライアントのサンプルの多様性は、ローカル更新パフォーマンスと最終的な集約モデルに大きな影響を与える可能性がある。 本稿では,高多様性クライアントからの更新を重視し,低多様性クライアントからの影響を低減したWeiAvg(Weighted Averaging)フレームワークを導入することにより,この問題に対処する新たなアプローチを提案する。 具体的には,エントロピーの計算に代えて,クライアントデータの多様性を推定する投影に基づく近似手法を導入した。 局所的に計算されたエントロピーは、過剰なプライバシーリスクのために伝達されないため、近似を用いる。 実験結果から,WeiAvgは元のFedAvgアルゴリズムやFedProxよりも高速に収束し,精度が高いことがわかった。

関連論文リスト

• Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
  我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。 FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。 CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
  論文  参考訳（メタデータ） (2023-12-23T03:31:46Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints [29.897785907692644]
  フェデレートされた学習システムは、断続的なクライアントの可用性および/または時間変化の通信制約を伴う設定で動作する。 可用性に依存したクライアント選択戦略を学習する非バイアスアルゴリズムであるF3ASTを提案する。 CIFAR100とシェークスピアでそれぞれ186%,FedAvgは8%,FedAdamは7%であった。
  論文  参考訳（メタデータ） (2022-05-13T16:08:58Z)
• SPATL: Salient Parameter Aggregation and Transfer Learning for Heterogeneous Clients in Federated Learning [3.5394650810262336]
  効率的なフェデレーション学習は、エッジデバイス上でAIモデルをトレーニングしデプロイする上で重要な課題の1つだ。 フェデレーション学習におけるデータのプライバシの維持は、データの均一性、高価な通信コスト、限られたリソースなど、いくつかの課題を引き起こす。 本稿では,ローカルクライアントの深層強化学習に基づく有能なパラメータ選択エージェントを提案し,選択した有能なパラメータを中央サーバに集約する。
  論文  参考訳（メタデータ） (2021-11-29T06:28:05Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• CatFedAvg: Optimising Communication-efficiency and Classification Accuracy in Federated Learning [2.2172881631608456]
  そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。 コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。 実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2020-11-14T06:52:02Z)
• A Theoretical Perspective on Differentially Private Federated Multi-task Learning [12.935153199667987]
  プライバシーとユーティリティの両方に関して、協調学習モデルを開発する必要がある。 本稿では,クライアントレベルで保護する効果的なパラメータ転送差分プライバシーのための,新しいフェデレーションマルチタスクを提案する。 このような提案されたアルゴリズムに対して、プライバシユーティリティの両方の保証を提供するのは、当社が初めてです。
  論文  参考訳（メタデータ） (2020-11-14T00:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。