論文の概要: FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation

• arxiv url: http://arxiv.org/abs/2406.09547v1
• Date: Thu, 13 Jun 2024 19:28:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 17:24:36.180102
• Title: FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation
• Title（参考訳）: FLea: プライバシ保護機能拡張によるフェデレーション学習におけるデータスカシティとラベルスキューへの対処
• Authors: Tong Xia, Abhirup Ghosh, Xinchi Qiu, Cecilia Mascolo,
• Abstract要約: フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。 我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
• 参考スコア（独自算出の注目度）: 15.298650496155508
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated Learning (FL) enables model development by leveraging data distributed across numerous edge devices without transferring local data to a central server. However, existing FL methods still face challenges when dealing with scarce and label-skewed data across devices, resulting in local model overfitting and drift, consequently hindering the performance of the global model. In response to these challenges, we propose a pioneering framework called FLea, incorporating the following key components: i) A global feature buffer that stores activation-target pairs shared from multiple clients to support local training. This design mitigates local model drift caused by the absence of certain classes; ii) A feature augmentation approach based on local and global activation mix-ups for local training. This strategy enlarges the training samples, thereby reducing the risk of local overfitting; iii) An obfuscation method to minimize the correlation between intermediate activations and the source data, enhancing the privacy of shared features. To verify the superiority of FLea, we conduct extensive experiments using a wide range of data modalities, simulating different levels of local data scarcity and label skew. The results demonstrate that FLea consistently outperforms state-of-the-art FL counterparts (among 13 of the experimented 18 settings, the improvement is over 5% while concurrently mitigating the privacy vulnerabilities associated with shared features. Code is available at https://github.com/XTxiatong/FLea.git.
• Abstract（参考訳）: フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 しかし、既存のFL手法は、デバイス間のデータ不足やラベルスキュートを扱う際にも問題に直面しており、結果として局所的なモデルオーバーフィットやドリフトが発生し、グローバルモデルの性能を損なうことになる。 これらの課題に対応するため、我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下の重要なコンポーネントを取り入れた。 i) 複数のクライアントから共有されるアクティベーションターゲットペアを格納し、ローカルトレーニングをサポートするグローバル機能バッファ。 この設計は、特定のクラスが存在しないために生じる局所モデルドリフトを緩和する。 二 局所的およびグローバルな活性化混合に基づく地域訓練のための機能強化アプローチ。 この戦略はトレーニングサンプルを拡大し、局所的なオーバーフィッティングのリスクを低減します。 三 中間活性化とソースデータとの相関を最小化し、共有機能のプライバシーを高める難読化方法。 FLeaの優位性を検証するため,ローカルデータ不足度とラベルスキューの異なるレベルをシミュレートし,幅広いデータモダリティを用いた広範囲な実験を行った。 その結果、FLeaは最先端のFL(実験された18設定のうち13)を一貫して上回り、改善は5%以上であり、同時に共有機能に関連するプライバシー上の脆弱性を軽減していることがわかった。 コードはhttps://github.com/XTxiatong/FLea.gitで入手できる。

関連論文リスト

• Collaboratively Learning Federated Models from Noisy Decentralized Data [21.3209961590772]
  フェデレーテッド・ラーニング(FL)は、エッジデバイスからのローカルデータを使用して機械学習モデルを協調訓練するための重要な方法として登場した。 本稿では,ラベルノイズと比較して探索されていない領域である入力空間におけるノイズデータの問題に焦点をあてる。 本稿では,FedNS (Federated Noise-Sifting) という雑音を考慮したFLアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2024-09-03T18:00:51Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
  フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。 我々は、以下のキーコンポーネントを組み込んだ textitFLea という先駆的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-04T20:24:09Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features [24.679535905451758]
  Federated Learning (FL)は、分散機械学習タスクのためのプライバシ保護ソリューションを提供する。 FLモデルの性能を著しく損なう難題の1つは、データ不均一性と長い尾分布の共起である。 We propose a novel privacy-serving FL method for heterogeneous and long-tailed data via Federated Re-training with Federated Features (CreFF)。
  論文  参考訳（メタデータ） (2022-04-28T10:35:11Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
  フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。 現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。 我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
  論文  参考訳（メタデータ） (2021-07-01T06:14:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。