論文の概要: FRAug: Tackling Federated Learning with Non-IID Features via
Representation Augmentation
- arxiv url: http://arxiv.org/abs/2205.14900v1
- Date: Mon, 30 May 2022 07:43:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 14:11:48.511510
- Title: FRAug: Tackling Federated Learning with Non-IID Features via
Representation Augmentation
- Title（参考訳）: FRAug: Representation Augmentationを通じて、非IID機能によるフェデレーションラーニングに取り組む
- Authors: Haokun Chen, Ahmed Frikha, Denis Krompass, Volker Tresp
- Abstract要約: Federated Learning(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングする分散学習パラダイムである。
本稿では,FRAug(Federated Representation Augmentation)を提案する。
当社のアプローチでは,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
- 参考スコア（独自算出の注目度）: 24.22519944445194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a decentralized learning paradigm in which
multiple clients collaboratively train deep learning models without
centralizing their local data and hence preserve data privacy. Real-world
applications usually involve a distribution shift across the datasets of the
different clients, which hurts the generalization ability of the clients to
unseen samples from their respective data distributions. In this work, we
address the recently proposed feature shift problem where the clients have
different feature distributions while the label distribution is the same. We
propose Federated Representation Augmentation (FRAug) to tackle this practical
and challenging problem. Our approach generates synthetic client-specific
samples in the embedding space to augment the usually small client datasets.
For that, we train a shared generative model to fuse the clients' knowledge,
learned from different feature distributions, to synthesize client-agnostic
embeddings, which are then locally transformed into client-specific embeddings
by Representation Transformation Networks (RTNets). By transferring knowledge
across the clients, the generated embeddings act as a regularizer for the
client models and reduce overfitting to the local original datasets, hence
improving generalization. Our empirical evaluation on multiple benchmark
datasets demonstrates the effectiveness of the proposed method, which
substantially outperforms the current state-of-the-art FL methods for non-IID
features, including PartialFed and FedBN.
- Abstract（参考訳）: Federated Learning(FL)は、複数のクライアントがローカルデータを集中せずにディープラーニングモデルを共同でトレーニングし、データプライバシを保存する、分散学習パラダイムである。
現実世界のアプリケーションは、通常、異なるクライアントのデータセット間の分散シフトを伴い、クライアントの一般化能力を損なう。
本稿では,最近提案されている,ラベル分布が同一であるクライアントの特徴分布が異なる特徴シフト問題に対処する。
本稿では,FRAug(Federated Representation Augmentation)を提案する。
提案手法は,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
そこで我々は、クライアントの知識を融合させ、異なる特徴分布から学習し、クライアントに依存しない埋め込みを合成するように共有生成モデルを訓練し、それをRepresentation Transformation Networks (RTNets) によってクライアント固有の埋め込みに局所的に変換する。
クライアント間で知識を転送することで、生成された埋め込みはクライアントモデルのレギュレータとして機能し、ローカルのオリジナルデータセットへのオーバーフィットを削減し、一般化を改善します。
複数のベンチマークデータセットにおける経験的評価により,提案手法の有効性が示され,partmentfed や fedbn を含む非iid機能に対する現状fl法を実質的に上回っている。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳（メタデータ） (2024-02-10T18:14:57Z) - FedCiR: Client-Invariant Representation Learning for Federated Non-IID
Features [15.555538379806135]
Federated Learning(FL)は、エッジデバイスのデータ駆動モデルの可能性を、生データを共有せずに最大化する分散学習パラダイムである。
我々は、クライアントが情報やクライアントの不変性を抽出できるクライアント不変表現学習フレームワークであるFedCiRを提案する。
論文 参考訳（メタデータ） (2023-08-30T06:36:32Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous
Federated Learning [9.975023463908496]
Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。
本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。
我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
論文 参考訳（メタデータ） (2023-05-31T07:00:42Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - Federated Learning in Non-IID Settings Aided by Differentially Private
Synthetic Data [20.757477553095637]
Federated Learning(FL)は、クライアントが機械学習モデルを協調的にトレーニングすることを可能にする、プライバシプロモーティングフレームワークである。
連合学習における大きな課題は、局所データが不均一であるときに生じる。
我々は、クライアントが変動自動エンコーダをデプロイして、遅延データ表現の微分プライベートな手段を用いて、ローカルデータセットを合成するFLアルゴリズムであるFedDPMSを提案する。
論文 参考訳（メタデータ） (2022-06-01T18:00:48Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-11-17T19:40:07Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。