論文の概要: CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning
- arxiv url: http://arxiv.org/abs/2011.07229v1
- Date: Sat, 14 Nov 2020 06:52:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 14:08:30.697955
- Title: CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning
- Title（参考訳）: CatFedAvg:フェデレーション学習におけるコミュニケーション効率と分類精度の最適化
- Authors: Dipankar Sarkar, Sumit Rai, Ankur Narang
- Abstract要約: そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
- 参考スコア（独自算出の注目度）: 2.2172881631608456
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Federated learning has allowed the training of statistical models over remote
devices without the transfer of raw client data. In practice, training in
heterogeneous and large networks introduce novel challenges in various aspects
like network load, quality of client data, security and privacy. Recent works
in FL have worked on improving communication efficiency and addressing uneven
client data distribution independently, but none have provided a unified
solution for both challenges. We introduce a new family of Federated Learning
algorithms called CatFedAvg which not only improves the communication
efficiency but improves the quality of learning using a category coverage
maximization strategy.
We use the FedAvg framework and introduce a simple and efficient step every
epoch to collect meta-data about the client's training data structure which the
central server uses to request a subset of weight updates. We explore two
distinct variations which allow us to further explore the tradeoffs between
communication efficiency and model accuracy. Our experiments based on a vision
classification task have shown that an increase of 10% absolute points in
accuracy using the MNIST dataset with 70% absolute points lower network
transfer over FedAvg. We also run similar experiments with Fashion MNIST,
KMNIST-10, KMNIST-49 and EMNIST-47. Further, under extreme data imbalance
experiments for both globally and individual clients, we see the model
performing better than FedAvg. The ablation study further explores its
behaviour under varying data and client parameter conditions showcasing the
robustness of the proposed approach.
- Abstract（参考訳）: フェデレーション学習は、生のクライアントデータを転送することなく、リモートデバイス上で統計モデルのトレーニングを可能にする。
実際には、ヘテロジニアスネットワークや大規模ネットワークでのトレーニングは、ネットワーク負荷、クライアントデータの品質、セキュリティ、プライバシなど、さまざまな面で新たな課題をもたらす。
FLにおける最近の研究は、コミュニケーション効率の改善と、不均一なクライアントデータ分散への対処に独立して取り組んでいるが、どちらも統一されたソリューションを提供していない。
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入し,コミュニケーション効率を向上するだけでなく,カテゴリカバレッジの最大化戦略を用いて学習の質を向上させる。
fedavgフレームワークを使用して、中央サーバが重み付け更新のサブセットを要求するために使用するクライアントのトレーニングデータ構造に関するメタデータを収集するために、エポック毎にシンプルで効率的なステップを導入します。
コミュニケーション効率とモデルの精度のトレードオフをさらに探究する上で,2つの異なるバリエーションを検討した。
視覚分類タスクに基づく実験により,FedAvgよりもネットワーク転送率が70%低いMNISTデータセットを用いて,10%の絶対点の精度向上が示された。
また,Fashion MNIST, KMNIST-10, KMNIST-49, EMNIST-47でも同様の実験を行った。
さらに、グローバルクライアントと個別クライアントの両方に対する極端なデータ不均衡実験では、モデルの性能はFedAvgより優れている。
アブレーション研究は,提案手法のロバスト性を示す様々なデータおよびクライアントパラメータ条件下での挙動をさらに探究する。
関連論文リスト
- ConDa: Fast Federated Unlearning with Contribution Dampening [46.074452659791575]
ConDaは、各クライアントのグローバルモデルに影響を与えるパラメータを追跡することによって、効率的なアンラーニングを実行するフレームワークである。
複数のデータセットで実験を行い、ConDaがクライアントのデータを忘れるのが効果的であることを実証する。
論文 参考訳（メタデータ） (2024-10-05T12:45:35Z) - SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning [15.256986486372407]
フェデレーション学習のスパイクにより、リソースに制約のあるデバイスは、ローカルデータを交換することなく、低消費電力で協調的にトレーニングできる。
既存のスパイキングフェデレーション学習手法では、クライアントのアグリゲーションに対してランダムな選択アプローチを採用しており、不偏なクライアントの参加を前提としている。
本研究では,グローバルなサンプル分布バランスに寄与するクライアントを鑑定するために,クレジット割当に基づくアクティブクライアント選択戦略であるSFedCAを提案する。
論文 参考訳（メタデータ） (2024-06-18T01:56:22Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Auto-weighted Robust Federated Learning with Corrupted Data Sources [7.475348174281237]
フェデレーション学習はコミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。
平均損失関数をナイーブに最小化する標準的なフェデレーション学習技術は、データの破損に弱い。
破損したデータソースに対して堅牢性を提供するために、自動重み付けロバストフェデレーテッドラーニング(arfl)を提案します。
論文 参考訳（メタデータ） (2021-01-14T21:54:55Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。