論文の概要: FedProc: Prototypical Contrastive Federated Learning on Non-IID data
- arxiv url: http://arxiv.org/abs/2109.12273v1
- Date: Sat, 25 Sep 2021 04:32:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-30 13:40:24.434734
- Title: FedProc: Prototypical Contrastive Federated Learning on Non-IID data
- Title（参考訳）: FedProc:非IIDデータを用いた原型コントラスト型フェデレーション学習
- Authors: Xutong Mu, Yulong Shen, Ke Cheng, Xueli Geng, Jiaxuan Fu, Tao Zhang,
Zhiwei Zhang
- Abstract要約: フェデレーション学習は、複数のクライアントが協力してディープラーニングモデルをトレーニングし、トレーニングデータをローカルに保持することを可能にする。
我々はFedProc: 原型的コントラスト型フェデレーション学習を提案する。
FedProcは計算コストを許容して精度を$1.6%sim7.9%向上することを示す。
- 参考スコア（独自算出の注目度）: 24.1906520295278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning allows multiple clients to collaborate to train
high-performance deep learning models while keeping the training data locally.
However, when the local data of all clients are not independent and identically
distributed (i.e., non-IID), it is challenging to implement this form of
efficient collaborative learning. Although significant efforts have been
dedicated to addressing this challenge, the effect on the image classification
task is still not satisfactory. In this paper, we propose FedProc: prototypical
contrastive federated learning, which is a simple and effective federated
learning framework. The key idea is to utilize the prototypes as global
knowledge to correct the local training of each client. We design a local
network architecture and a global prototypical contrastive loss to regulate the
training of local models, which makes local objectives consistent with the
global optima. Eventually, the converged global model obtains a good
performance on non-IID data. Experimental results show that, compared to
state-of-the-art federated learning methods, FedProc improves the accuracy by
$1.6\%\sim7.9\%$ with acceptable computation cost.
- Abstract（参考訳）: フェデレーション学習は、複数のクライアントが協力して、トレーニングデータをローカルに保持しながら、ハイパフォーマンスなディープラーニングモデルをトレーニングできる。
しかしながら、すべてのクライアントのローカルデータが独立ではなく、同じ分散(すなわち非iid)である場合、この形式の効率的な協調学習を実装することは困難である。
この課題に対処するために多大な努力がなされているが、画像分類タスクへの影響はまだ十分ではない。
本稿では,単純かつ効果的な連合学習フレームワークであるfeedproc:prototypical contrastive federated learningを提案する。
重要なアイデアは、プロトタイプをグローバル知識として活用して、各クライアントのローカルトレーニングを修正することだ。
我々は,局所的なネットワークアーキテクチャとグローバルな原型的コントラスト損失を設計して,局所モデルのトレーニングを規制し,局所的な目的をグローバルな最適性と整合させる。
最終的に、収束したグローバルモデルは、非IIDデータの優れた性能を得る。
実験結果によると、最先端のフェデレーション学習法と比較して、FedProcは計算コストを許容して精度を1.6\%\sim7.9\%で改善している。
関連論文リスト
- SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning [15.256986486372407]
フェデレーション学習のスパイクにより、リソースに制約のあるデバイスは、ローカルデータを交換することなく、低消費電力で協調的にトレーニングできる。
既存のスパイキングフェデレーション学習手法では、クライアントのアグリゲーションに対してランダムな選択アプローチを採用しており、不偏なクライアントの参加を前提としている。
本研究では,グローバルなサンプル分布バランスに寄与するクライアントを鑑定するために,クレジット割当に基づくアクティブクライアント選択戦略であるSFedCAを提案する。
論文 参考訳（メタデータ） (2024-06-18T01:56:22Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - FLIS: Clustered Federated Learning via Inference Similarity for Non-IID
Data Distribution [7.924081556869144]
本稿では,クライアント集団をクラスタにグループ化し,共同でトレーニング可能なデータ配信を行う新しいアルゴリズムFLISを提案する。
CIFAR-100/10, SVHN, FMNISTデータセット上の最先端ベンチマークに対するFLISの利点を示す実験結果を示す。
論文 参考訳（メタデータ） (2022-08-20T22:10:48Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳（メタデータ） (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。