論文の概要: FedBR: Improving Federated Learning on Heterogeneous Data via Local
Learning Bias Reduction
- arxiv url: http://arxiv.org/abs/2205.13462v4
- Date: Wed, 31 May 2023 02:43:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 04:40:59.196013
- Title: FedBR: Improving Federated Learning on Heterogeneous Data via Local
Learning Bias Reduction
- Title(参考訳): FedBR:ローカルラーニングバイアス削減による異種データのフェデレーション学習の改善
- Authors: Yongxin Guo, Xiaoying Tang, Tao Lin
- Abstract要約: Federated Learning(FL)は、マシンがローカルに保存されたデータから学習し、クライアントのプライバシを保護する方法である。
本稿では,特徴量と分類器の局所学習バイアスを低減する統一アルゴリズムであるFedBRを提案する。
実験の結果,他のSOTA FL法よりも優れた結果が得られた。
- 参考スコア(独自算出の注目度): 5.757705591791482
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a way for machines to learn from data that is kept
locally, in order to protect the privacy of clients. This is typically done
using local SGD, which helps to improve communication efficiency. However, such
a scheme is currently constrained by slow and unstable convergence due to the
variety of data on different clients' devices. In this work, we identify three
under-explored phenomena of biased local learning that may explain these
challenges caused by local updates in supervised FL. As a remedy, we propose
FedBR, a novel unified algorithm that reduces the local learning bias on
features and classifiers to tackle these challenges. FedBR has two components.
The first component helps to reduce bias in local classifiers by balancing the
output of the models. The second component helps to learn local features that
are similar to global features, but different from those learned from other
data sources. We conducted several experiments to test \algopt and found that
it consistently outperforms other SOTA FL methods. Both of its components also
individually show performance gains. Our code is available at
https://github.com/lins-lab/fedbr.
- Abstract(参考訳): Federated Learning(FL)は、マシンがローカルに保存されたデータから学習し、クライアントのプライバシを保護する方法である。
これは通常、通信効率の向上に役立つローカルSGDを使用して行われる。
しかし、このスキームは現在、異なるクライアントデバイス上の様々なデータのために、遅く不安定な収束によって制約されている。
本研究では,教師付きflにおける局所更新に伴う課題を説明するバイアス付き局所学習の未熟な3つの現象を明らかにする。
そこで我々は,これらの課題に取り組むために,特徴や分類器の局所学習バイアスを低減する新しい統一アルゴリズムfeedbrを提案する。
FedBRには2つのコンポーネントがある。
最初のコンポーネントは、モデルの出力のバランスをとることで、局所分類器のバイアスを低減するのに役立つ。
第2のコンポーネントは、グローバル機能に似たローカル機能を学ぶのに役立つが、他のデータソースから学んだものとは異なる。
実験の結果,他のSOTA FL法よりも優れた結果が得られた。
両方のコンポーネントは個別にパフォーマンスも向上している。
私たちのコードはhttps://github.com/lins-lab/fedbr.comで利用可能です。
関連論文リスト
- Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。
我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。
本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
論文 参考訳(メタデータ) (2024-02-08T10:52:37Z) - FLea: Improving federated learning on scarce and label-skewed data via
privacy-preserving feature augmentation [15.98209321182056]
Federated Learning (FL) は、ローカルデータセットが小さく、ラベルスキューが厳しい場合に、パフォーマンスが低下する手法である。
我々は、プライバシー保護機能との交換をクライアントに促すことにより、過剰適合と局所バイアスに対処する統合フレームワークである textitFLea を提案する。
実験では、TextitFLeaは、モデルパラメータのみを最大17.6%で共有し、データ拡張を最大6.3%で共有するFLメソッドよりも優れており、共有データ拡張に関連するプライバシー上の脆弱性を低減している。
論文 参考訳(メタデータ) (2023-12-04T20:24:09Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳(メタデータ) (2022-10-24T10:59:29Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳(メタデータ) (2021-08-19T12:20:31Z) - Global Knowledge Distillation in Federated Learning [3.7311680121118345]
本稿では,従来のグローバルモデルから知識を学習し,局所バイアス学習問題に対処する,新たなグローバル知識蒸留法であるFedGKDを提案する。
提案手法の有効性を示すため,各種CVデータセット(CIFAR-10/100)と設定(非i.dデータ)について広範な実験を行った。
論文 参考訳(メタデータ) (2021-06-30T18:14:24Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳(メタデータ) (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。