論文の概要: FedAug: Reducing the Local Learning Bias Improves Federated Learning on
Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2205.13462v2
- Date: Fri, 27 May 2022 09:57:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 11:30:39.831322
- Title: FedAug: Reducing the Local Learning Bias Improves Federated Learning on
Heterogeneous Data
- Title(参考訳): FedAug: 異種データのフェデレーション学習を改善するローカルラーニングバイアスの削減
- Authors: Yongxin Guo, Tao Lin, Xiaoying Tang
- Abstract要約: Federated Learning(FL)は、クライアントのプライバシを保護するために、ローカルに保存されたデータから学習する機械学習パラダイムである。
我々は,これらの課題に対処するために,特徴と分類器の局所的学習バイアスを低減する,新しい統一アルゴリズムであるFedAugを提案する。
一連の実験において、FedAugは他のSOTA FLおよびドメイン一般化(DG)ベースラインを一貫して上回ることを示す。
- 参考スコア(独自算出の注目度): 5.757705591791482
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a machine learning paradigm that learns from data
kept locally to safeguard the privacy of clients, whereas local SGD is
typically employed on the clients' devices to improve communication efficiency.
However, such a scheme is currently constrained by the slow and unstable
convergence induced by clients' heterogeneous data. In this work, we identify
three under-explored phenomena of the biased local learning that may explain
these challenges caused by local updates in supervised FL. As a remedy, we
propose FedAug, a novel unified algorithm that reduces the local learning bias
on features and classifiers to tackle these challenges. FedAug consists of two
components: AugMean and AugCA. AugMean alleviates the bias in the local
classifiers by balancing the output distribution of models. AugCA learns client
invariant features that are close to global features but considerably distinct
from those learned from other input distributions. In a series of experiments,
we show that FedAug consistently outperforms other SOTA FL and domain
generalization (DG) baselines, in which both two components (i.e., AugMean and
AugCA) have individual performance gains.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、ローカルに保持されたデータから学習し、クライアントのプライバシーを保護する機械学習パラダイムである。
しかし、このようなスキームは現在、クライアントの不均一なデータによって引き起こされる遅く不安定な収束によって制約されている。
本研究では,教師付きflにおける局所更新に伴う課題を説明するバイアス付き局所学習の3つの未熟な現象を明らかにする。
そこで我々は,これらの課題に取り組むために,特徴や分類器の局所学習バイアスを低減する新しい統一アルゴリズムfedaugを提案する。
FedAugはAugMeanとAugCAの2つのコンポーネントで構成されている。
augmeanはモデルの出力分布のバランスをとることで局所分類器のバイアスを軽減する。
augcaはグローバル機能に近いが、他の入力分布から学んだものとは大きく異なるクライアント不変機能を学ぶ。
一連の実験において、FedAugは他のSOTA FLとドメイン一般化(DG)ベースラインを一貫して上回り、2つのコンポーネント(AugMeanとAugCA)が個別のパフォーマンス向上をもたらすことを示した。
関連論文リスト
- Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。
我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。
本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
論文 参考訳(メタデータ) (2024-02-08T10:52:37Z) - FLea: Improving federated learning on scarce and label-skewed data via
privacy-preserving feature augmentation [15.98209321182056]
Federated Learning (FL) は、ローカルデータセットが小さく、ラベルスキューが厳しい場合に、パフォーマンスが低下する手法である。
我々は、プライバシー保護機能との交換をクライアントに促すことにより、過剰適合と局所バイアスに対処する統合フレームワークである textitFLea を提案する。
実験では、TextitFLeaは、モデルパラメータのみを最大17.6%で共有し、データ拡張を最大6.3%で共有するFLメソッドよりも優れており、共有データ拡張に関連するプライバシー上の脆弱性を低減している。
論文 参考訳(メタデータ) (2023-12-04T20:24:09Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳(メタデータ) (2022-10-24T10:59:29Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳(メタデータ) (2021-08-19T12:20:31Z) - Global Knowledge Distillation in Federated Learning [3.7311680121118345]
本稿では,従来のグローバルモデルから知識を学習し,局所バイアス学習問題に対処する,新たなグローバル知識蒸留法であるFedGKDを提案する。
提案手法の有効性を示すため,各種CVデータセット(CIFAR-10/100)と設定(非i.dデータ)について広範な実験を行った。
論文 参考訳(メタデータ) (2021-06-30T18:14:24Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳(メタデータ) (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。