論文の概要: FedBR: Improving Federated Learning on Heterogeneous Data via Local Learning Bias Reduction

• arxiv url: http://arxiv.org/abs/2205.13462v4
• Date: Wed, 31 May 2023 02:43:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 04:40:59.196013
• Title: FedBR: Improving Federated Learning on Heterogeneous Data via Local Learning Bias Reduction
• Title（参考訳）: FedBR:ローカルラーニングバイアス削減による異種データのフェデレーション学習の改善
• Authors: Yongxin Guo, Xiaoying Tang, Tao Lin
• Abstract要約: Federated Learning(FL)は、マシンがローカルに保存されたデータから学習し、クライアントのプライバシを保護する方法である。 本稿では,特徴量と分類器の局所学習バイアスを低減する統一アルゴリズムであるFedBRを提案する。 実験の結果,他のSOTA FL法よりも優れた結果が得られた。
• 参考スコア（独自算出の注目度）: 5.757705591791482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a way for machines to learn from data that is kept locally, in order to protect the privacy of clients. This is typically done using local SGD, which helps to improve communication efficiency. However, such a scheme is currently constrained by slow and unstable convergence due to the variety of data on different clients' devices. In this work, we identify three under-explored phenomena of biased local learning that may explain these challenges caused by local updates in supervised FL. As a remedy, we propose FedBR, a novel unified algorithm that reduces the local learning bias on features and classifiers to tackle these challenges. FedBR has two components. The first component helps to reduce bias in local classifiers by balancing the output of the models. The second component helps to learn local features that are similar to global features, but different from those learned from other data sources. We conducted several experiments to test \algopt and found that it consistently outperforms other SOTA FL methods. Both of its components also individually show performance gains. Our code is available at https://github.com/lins-lab/fedbr.
• Abstract（参考訳）: Federated Learning(FL)は、マシンがローカルに保存されたデータから学習し、クライアントのプライバシを保護する方法である。 これは通常、通信効率の向上に役立つローカルSGDを使用して行われる。 しかし、このスキームは現在、異なるクライアントデバイス上の様々なデータのために、遅く不安定な収束によって制約されている。 本研究では,教師付きflにおける局所更新に伴う課題を説明するバイアス付き局所学習の未熟な3つの現象を明らかにする。 そこで我々は,これらの課題に取り組むために,特徴や分類器の局所学習バイアスを低減する新しい統一アルゴリズムfeedbrを提案する。 FedBRには2つのコンポーネントがある。 最初のコンポーネントは、モデルの出力のバランスをとることで、局所分類器のバイアスを低減するのに役立つ。 第2のコンポーネントは、グローバル機能に似たローカル機能を学ぶのに役立つが、他のデータソースから学んだものとは異なる。 実験の結果,他のSOTA FL法よりも優れた結果が得られた。 両方のコンポーネントは個別にパフォーマンスも向上している。 私たちのコードはhttps://github.com/lins-lab/fedbr.comで利用可能です。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
  フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。 我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
  論文  参考訳（メタデータ） (2024-06-13T19:28:08Z)
• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
  フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。 我々は、以下のキーコンポーネントを組み込んだ textitFLea という先駆的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-04T20:24:09Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Global Knowledge Distillation in Federated Learning [3.7311680121118345]
  本稿では,従来のグローバルモデルから知識を学習し,局所バイアス学習問題に対処する,新たなグローバル知識蒸留法であるFedGKDを提案する。 提案手法の有効性を示すため,各種CVデータセット(CIFAR-10/100)と設定(非i.dデータ)について広範な実験を行った。
  論文  参考訳（メタデータ） (2021-06-30T18:14:24Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。