論文の概要: FedH2L: Federated Learning with Model and Statistical Heterogeneity
- arxiv url: http://arxiv.org/abs/2101.11296v1
- Date: Wed, 27 Jan 2021 10:10:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-01 19:27:42.090779
- Title: FedH2L: Federated Learning with Model and Statistical Heterogeneity
- Title(参考訳): FedH2L: モデルと統計的不均一性によるフェデレーション学習
- Authors: Yiying Li, Wei Zhou, Huaimin Wang, Haibo Mi, Timothy M. Hospedales
- Abstract要約: フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。
我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。
パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
- 参考スコア(独自算出の注目度): 75.61234545520611
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated learning (FL) enables distributed participants to collectively
learn a strong global model without sacrificing their individual data privacy.
Mainstream FL approaches require each participant to share a common network
architecture and further assume that data are are sampled IID across
participants. However, in real-world deployments participants may require
heterogeneous network architectures; and the data distribution is almost
certainly non-uniform across participants. To address these issues we introduce
FedH2L, which is agnostic to both the model architecture and robust to
different data distributions across participants. In contrast to approaches
sharing parameters or gradients, FedH2L relies on mutual distillation,
exchanging only posteriors on a shared seed set between participants in a
decentralized manner. This makes it extremely bandwidth efficient, model
agnostic, and crucially produces models capable of performing well on the whole
data distribution when learning from heterogeneous silos.
- Abstract(参考訳): フェデレーションラーニング(FL)により、分散参加者は個々のデータプライバシーを犠牲にすることなく、強力なグローバルモデルを集合的に学習できます。
メインストリームのFLアプローチでは、各参加者が共通のネットワークアーキテクチャを共有し、さらに参加者間でデータをサンプルIDと仮定する必要がある。
しかし、現実世界のデプロイメントでは、参加者は異種ネットワークアーキテクチャを必要とするかもしれません。
これらの問題に対処するために、モデルアーキテクチャに非依存で、参加者間で異なるデータ分散に堅牢なFedH2Lを紹介します。
パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
これにより、非常に帯域幅効率が高く、モデルに依存しず、異種サイロから学習する際にデータ分布全体でうまく機能するモデルを生成することができます。
関連論文リスト
- Fed-CO2: Cooperation of Online and Offline Models for Severe Data
Heterogeneity in Federated Learning [14.914477928398133]
フェデレートラーニング(FL)は、有望な分散ラーニングパラダイムとして登場した。
FLの有効性は、トレーニングに使われているデータの品質に大きく依存する。
ラベル分布スキューと特徴スキューの両方を扱う普遍的なFLフレームワークであるFed-CO$_2$を提案する。
論文 参考訳(メタデータ) (2023-12-21T15:12:12Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2023-12-10T18:49:59Z) - VFedMH: Vertical Federated Learning for Training Multiple Heterogeneous
Models [53.30484242706966]
本稿では,複数の異種モデル(VFedMH)を学習するための垂直フェデレーション学習という新しい手法を提案する。
被験者の局所的な埋め込み値を保護するために,軽量なブラインド・ファクターに基づく埋め込み保護手法を提案する。
実験により、VFedMHは、不均一な最適化で複数の異種モデルを同時に訓練し、モデル性能の最近の手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-10-20T09:22:51Z) - Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。
FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。
この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文 参考訳(メタデータ) (2023-03-31T10:13:01Z) - FedSiam-DA: Dual-aggregated Federated Learning via Siamese Network under
Non-IID Data [21.95009868875851]
フェデレートされた学習は、データアイランドに対処できるが、実際のアプリケーションで不均一なデータでトレーニングすることは依然として困難である。
本稿では,新しい二重集約型コントラスト学習手法であるFedSiam-DAを提案する。
論文 参考訳(メタデータ) (2022-11-17T09:05:25Z) - CoFED: Cross-silo Heterogeneous Federated Multi-task Learning via
Co-training [11.198612582299813]
Federated Learning(FL)は、参加者がプライベートデータを交換することなく、高品質なモデルを協調的にトレーニングできる機械学習技術である。
擬似ラベル付き未ラベルデータに基づく通信効率の高いFLスキームであるCoFEDを提案する。
実験結果から,CoFEDは通信コストの低減を図った。
論文 参考訳(メタデータ) (2022-02-17T11:34:20Z) - Heterogeneous Federated Learning via Grouped Sequential-to-Parallel
Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。
本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。
その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文 参考訳(メタデータ) (2022-01-31T03:15:28Z) - FedRAD: Federated Robust Adaptive Distillation [7.775374800382709]
一般的にモデルの更新を集約するコラボレーション学習フレームワークは、敵のクライアントによる毒殺攻撃のモデルに対して脆弱である。
本稿では,新たなロバスト適応蒸留法 (FedRAD) を提案する。
その結果,FedRADは敵の存在や異種データ分布において,他のアグリゲータよりも優れていた。
論文 参考訳(メタデータ) (2021-12-02T16:50:57Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳(メタデータ) (2021-08-19T12:20:31Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳(メタデータ) (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。