論文の概要: FedAug: Reducing the Local Learning Bias Improves Federated Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2205.13462v2
• Date: Fri, 27 May 2022 09:57:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 11:30:39.831322
• Title: FedAug: Reducing the Local Learning Bias Improves Federated Learning on Heterogeneous Data
• Title（参考訳）: FedAug: 異種データのフェデレーション学習を改善するローカルラーニングバイアスの削減
• Authors: Yongxin Guo, Tao Lin, Xiaoying Tang
• Abstract要約: Federated Learning(FL)は、クライアントのプライバシを保護するために、ローカルに保存されたデータから学習する機械学習パラダイムである。 我々は,これらの課題に対処するために,特徴と分類器の局所的学習バイアスを低減する,新しい統一アルゴリズムであるFedAugを提案する。 一連の実験において、FedAugは他のSOTA FLおよびドメイン一般化(DG)ベースラインを一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 5.757705591791482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a machine learning paradigm that learns from data kept locally to safeguard the privacy of clients, whereas local SGD is typically employed on the clients' devices to improve communication efficiency. However, such a scheme is currently constrained by the slow and unstable convergence induced by clients' heterogeneous data. In this work, we identify three under-explored phenomena of the biased local learning that may explain these challenges caused by local updates in supervised FL. As a remedy, we propose FedAug, a novel unified algorithm that reduces the local learning bias on features and classifiers to tackle these challenges. FedAug consists of two components: AugMean and AugCA. AugMean alleviates the bias in the local classifiers by balancing the output distribution of models. AugCA learns client invariant features that are close to global features but considerably distinct from those learned from other input distributions. In a series of experiments, we show that FedAug consistently outperforms other SOTA FL and domain generalization (DG) baselines, in which both two components (i.e., AugMean and AugCA) have individual performance gains.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、ローカルに保持されたデータから学習し、クライアントのプライバシーを保護する機械学習パラダイムである。 しかし、このようなスキームは現在、クライアントの不均一なデータによって引き起こされる遅く不安定な収束によって制約されている。 本研究では,教師付きflにおける局所更新に伴う課題を説明するバイアス付き局所学習の3つの未熟な現象を明らかにする。 そこで我々は,これらの課題に取り組むために,特徴や分類器の局所学習バイアスを低減する新しい統一アルゴリズムfedaugを提案する。 FedAugはAugMeanとAugCAの2つのコンポーネントで構成されている。 augmeanはモデルの出力分布のバランスをとることで局所分類器のバイアスを軽減する。 augcaはグローバル機能に近いが、他の入力分布から学んだものとは大きく異なるクライアント不変機能を学ぶ。 一連の実験において、FedAugは他のSOTA FLとドメイン一般化(DG)ベースラインを一貫して上回り、2つのコンポーネント(AugMeanとAugCA)が個別のパフォーマンス向上をもたらすことを示した。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
  フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。 我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
  論文  参考訳（メタデータ） (2024-06-13T19:28:08Z)
• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
  フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。 我々は、以下のキーコンポーネントを組み込んだ textitFLea という先駆的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-04T20:24:09Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Global Knowledge Distillation in Federated Learning [3.7311680121118345]
  本稿では,従来のグローバルモデルから知識を学習し,局所バイアス学習問題に対処する,新たなグローバル知識蒸留法であるFedGKDを提案する。 提案手法の有効性を示すため,各種CVデータセット(CIFAR-10/100)と設定(非i.dデータ)について広範な実験を行った。
  論文  参考訳（メタデータ） (2021-06-30T18:14:24Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。