論文の概要: FLea: Improving federated learning on scarce and label-skewed data via
privacy-preserving feature augmentation
- arxiv url: http://arxiv.org/abs/2312.02327v1
- Date: Mon, 4 Dec 2023 20:24:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 17:38:05.443349
- Title: FLea: Improving federated learning on scarce and label-skewed data via
privacy-preserving feature augmentation
- Title（参考訳）: flea: プライバシー保護機能強化による不足とラベル付きデータの連合学習の改善
- Authors: Tong Xia and Abhirup Ghosh and Cecilia Mascolo
- Abstract要約: Federated Learning (FL) は、ローカルデータセットが小さく、ラベルスキューが厳しい場合に、パフォーマンスが低下する手法である。
我々は、プライバシー保護機能との交換をクライアントに促すことにより、過剰適合と局所バイアスに対処する統合フレームワークである textitFLea を提案する。
実験では、TextitFLeaは、モデルパラメータのみを最大17.6%で共有し、データ拡張を最大6.3%で共有するFLメソッドよりも優れており、共有データ拡張に関連するプライバシー上の脆弱性を低減している。
- 参考スコア（独自算出の注目度）: 15.98209321182056
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning a global model by abstracting the knowledge, distributed across
multiple clients, without aggregating the raw data is the primary goal of
Federated Learning (FL). Typically, this works in rounds alternating between
parallel local training at several clients, followed by model aggregation at a
server. We found that existing FL methods under-perform when local datasets are
small and present severe label skew as these lead to over-fitting and local
model bias. This is a realistic setting in many real-world applications. To
address the problem, we propose \textit{FLea}, a unified framework that tackles
over-fitting and local bias by encouraging clients to exchange
privacy-protected features to aid local training. The features refer to
activations from an intermediate layer of the model, which are obfuscated
before being shared with other clients to protect sensitive information in the
data. \textit{FLea} leverages a novel way of combining local and shared
features as augmentations to enhance local model learning. Our extensive
experiments demonstrate that \textit{FLea} outperforms the start-of-the-art FL
methods, sharing only model parameters, by up to $17.6\%$, and FL methods that
share data augmentations by up to $6.3\%$, while reducing the privacy
vulnerability associated with shared data augmentations.
- Abstract（参考訳）: 生データを集約することなく、複数のクライアントに分散した知識を抽象化してグローバルモデルを学ぶことが、フェデレートラーニング(FL)の主な目標である。
通常、これは複数のクライアントで並列なローカルトレーニングを交互に行い、次にサーバでモデルアグリゲーションを行います。
その結果,ローカルデータセットが小さければ既存のflメソッドが過小評価され,過フィッティングや局所モデルバイアスにつながるようなラベルスキューが存在することが分かった。
これは多くの現実世界のアプリケーションにおいて現実的な設定です。
この問題に対処するために,クライアントがプライバシー保護機能を交換してローカルトレーニングを支援することで,過度な適合と局所バイアスに対処する統合フレームワークである‘textit{FLea}’を提案する。
この機能は、モデルの中間層からのアクティベーションを指し、他のクライアントと共有する前に難読化され、データ内の機密情報を保護する。
\textit{flea}は、ローカルモデル学習を強化するために、ローカル機能と共有機能を組み合わせた新しい方法を利用している。
我々の広範な実験によると、 \textit{FLea} は最先端のFLメソッドよりも優れており、モデルパラメータのみを最大17.6\%$で共有し、FLメソッドはデータ拡張を最大6.3\%で共有し、共有データ拡張に関連するプライバシの脆弱性を低減している。
関連論文リスト
- FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。
既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。
我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
論文 参考訳（メタデータ） (2024-06-13T19:28:08Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - FedBR: Improving Federated Learning on Heterogeneous Data via Local
Learning Bias Reduction [5.757705591791482]
Federated Learning(FL)は、マシンがローカルに保存されたデータから学習し、クライアントのプライバシを保護する方法である。
本稿では,特徴量と分類器の局所学習バイアスを低減する統一アルゴリズムであるFedBRを提案する。
実験の結果,他のSOTA FL法よりも優れた結果が得られた。
論文 参考訳（メタデータ） (2022-05-26T16:08:01Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳（メタデータ） (2021-08-19T12:20:31Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳（メタデータ） (2021-07-01T06:14:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。