論文の概要: FLea: Improving federated learning on scarce and label-skewed data via
privacy-preserving feature augmentation
- arxiv url: http://arxiv.org/abs/2312.02327v1
- Date: Mon, 4 Dec 2023 20:24:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 17:38:05.443349
- Title: FLea: Improving federated learning on scarce and label-skewed data via
privacy-preserving feature augmentation
- Title(参考訳): flea: プライバシー保護機能強化による不足とラベル付きデータの連合学習の改善
- Authors: Tong Xia and Abhirup Ghosh and Cecilia Mascolo
- Abstract要約: Federated Learning (FL) は、ローカルデータセットが小さく、ラベルスキューが厳しい場合に、パフォーマンスが低下する手法である。
我々は、プライバシー保護機能との交換をクライアントに促すことにより、過剰適合と局所バイアスに対処する統合フレームワークである textitFLea を提案する。
実験では、TextitFLeaは、モデルパラメータのみを最大17.6%で共有し、データ拡張を最大6.3%で共有するFLメソッドよりも優れており、共有データ拡張に関連するプライバシー上の脆弱性を低減している。
- 参考スコア(独自算出の注目度): 15.98209321182056
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning a global model by abstracting the knowledge, distributed across
multiple clients, without aggregating the raw data is the primary goal of
Federated Learning (FL). Typically, this works in rounds alternating between
parallel local training at several clients, followed by model aggregation at a
server. We found that existing FL methods under-perform when local datasets are
small and present severe label skew as these lead to over-fitting and local
model bias. This is a realistic setting in many real-world applications. To
address the problem, we propose \textit{FLea}, a unified framework that tackles
over-fitting and local bias by encouraging clients to exchange
privacy-protected features to aid local training. The features refer to
activations from an intermediate layer of the model, which are obfuscated
before being shared with other clients to protect sensitive information in the
data. \textit{FLea} leverages a novel way of combining local and shared
features as augmentations to enhance local model learning. Our extensive
experiments demonstrate that \textit{FLea} outperforms the start-of-the-art FL
methods, sharing only model parameters, by up to $17.6\%$, and FL methods that
share data augmentations by up to $6.3\%$, while reducing the privacy
vulnerability associated with shared data augmentations.
- Abstract(参考訳): 生データを集約することなく、複数のクライアントに分散した知識を抽象化してグローバルモデルを学ぶことが、フェデレートラーニング(FL)の主な目標である。
通常、これは複数のクライアントで並列なローカルトレーニングを交互に行い、次にサーバでモデルアグリゲーションを行います。
その結果,ローカルデータセットが小さければ既存のflメソッドが過小評価され,過フィッティングや局所モデルバイアスにつながるようなラベルスキューが存在することが分かった。
これは多くの現実世界のアプリケーションにおいて現実的な設定です。
この問題に対処するために,クライアントがプライバシー保護機能を交換してローカルトレーニングを支援することで,過度な適合と局所バイアスに対処する統合フレームワークである‘textit{FLea}’を提案する。
この機能は、モデルの中間層からのアクティベーションを指し、他のクライアントと共有する前に難読化され、データ内の機密情報を保護する。
\textit{flea}は、ローカルモデル学習を強化するために、ローカル機能と共有機能を組み合わせた新しい方法を利用している。
我々の広範な実験によると、 \textit{FLea} は最先端のFLメソッドよりも優れており、モデルパラメータのみを最大17.6\%$で共有し、FLメソッドはデータ拡張を最大6.3\%で共有し、共有データ拡張に関連するプライバシの脆弱性を低減している。
関連論文リスト
- Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳(メタデータ) (2023-08-23T22:38:35Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - FRAug: Tackling Federated Learning with Non-IID Features via
Representation Augmentation [31.12851987342467]
Federated Learning(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングする分散学習パラダイムである。
本稿では,FRAug(Federated Representation Augmentation)を提案する。
当社のアプローチでは,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
論文 参考訳(メタデータ) (2022-05-30T07:43:42Z) - One-shot Federated Learning without Server-side Training [42.59845771101823]
クライアントとサーバ間の通信コストを削減する手段として,ワンショットのフェデレーション学習が人気を集めている。
既存のワンショットFL法のほとんどは知識蒸留に基づいているが、蒸留に基づくアプローチでは追加のトレーニングフェーズが必要であり、公開されているデータセットや生成された擬似サンプルに依存する。
本研究では,サーバサイドのトレーニングなしで,ローカルモデル上で1ラウンドのパラメータアグリゲーションを実行するという,新しいクロスサイロ設定について考察する。
論文 参考訳(メタデータ) (2022-04-26T01:45:37Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Data Selection for Efficient Model Update in Federated Learning [0.07614628596146598]
本稿では,グローバルモデルのトレーニングに必要なローカルデータの量を削減することを提案する。
本手法では, 局所データの特徴により敏感な部分と, 一般特徴抽出のための下位部分と, 上位部分とにモデルを分割する。
実験の結果,クライアントデータの特徴をグローバルモデルに転送できる地域データは1%未満であることがわかった。
論文 参考訳(メタデータ) (2021-11-05T14:07:06Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。