論文の概要: FedMGDA+: Federated Learning meets Multi-objective Optimization
- arxiv url: http://arxiv.org/abs/2006.11489v1
- Date: Sat, 20 Jun 2020 04:17:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 22:10:51.311776
- Title: FedMGDA+: Federated Learning meets Multi-objective Optimization
- Title(参考訳): FedMGDA+: フェデレーションラーニングが多目的最適化に到達
- Authors: Zeou Hu, Kiarash Shaloudegi, Guojun Zhang, Yaoliang Yu
- Abstract要約: フェデレーテッド・ラーニング(Federated Learning)は、大量のエッジデバイス上で、ジョイントディープモデルをトレーニングするための、有望で大規模に分散された方法として登場した。
我々は,多目的最適化としてフェデレーション学習を定式化し,定常解に収束することが保証される新しいアルゴリズムであるFedMGDA+を提案する。
- 参考スコア(独自算出の注目度): 22.36800379342697
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning has emerged as a promising, massively distributed way to
train a joint deep model over large amounts of edge devices while keeping
private user data strictly on device. In this work, motivated from ensuring
fairness among users and robustness against malicious adversaries, we formulate
federated learning as multi-objective optimization and propose a new algorithm
FedMGDA+ that is guaranteed to converge to Pareto stationary solutions.
FedMGDA+ is simple to implement, has fewer hyperparameters to tune, and
refrains from sacrificing the performance of any participating user. We
establish the convergence properties of FedMGDA+ and point out its connections
to existing approaches. Extensive experiments on a variety of datasets confirm
that FedMGDA+ compares favorably against state-of-the-art.
- Abstract(参考訳): フェデレーテッド・ラーニング(Federated Learning)は、大量のエッジデバイス上でジョイントディープモデルをトレーニングし、デバイス上のプライベートユーザーデータを厳格に保持する、有望で大規模に分散された方法として登場した。
本研究は,ユーザ間の公正性と悪意のある敵に対する堅牢性を保証することを目的として,多目的最適化としてフェデレーション学習を定式化し,パレート定常解に収束することが保証される新しいアルゴリズムであるFedMGDA+を提案する。
FedMGDA+は実装が簡単で、チューニングするハイパーパラメータが少なく、参加するユーザのパフォーマンスを犠牲にしない。
我々はfedmgda+の収束特性を確立し,既存のアプローチとの接続を指摘する。
さまざまなデータセットに対する大規模な実験は、FedMGDA+が最先端のものと好適に比較していることを確認した。
関連論文リスト
- Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳(メタデータ) (2023-03-01T06:16:15Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2022-12-14T13:57:01Z) - FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning [4.02923738318937]
異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。
我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
論文 参考訳(メタデータ) (2022-08-04T04:24:16Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - FedFormer: Contextual Federation with Attention in Reinforcement
Learning [21.05134144161283]
FedFormerは、Transformer Attentionを使用してコンテキスト的に埋め込みを集約する新しいフェデレーション戦略である。
我々はメタワールド環境における手法の評価を行い,FedAvgや非フェデレートなソフトアクター・クリストイック・シングルエージェント法よりも優れた手法が得られた。
論文 参考訳(メタデータ) (2022-05-27T01:19:22Z) - Speeding up Heterogeneous Federated Learning with Sequentially Trained
Superclients [19.496278017418113]
フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。
このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。
我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
論文 参考訳(メタデータ) (2022-01-26T12:33:23Z) - SCEI: A Smart-Contract Driven Edge Intelligence Framework for IoT
Systems [15.796325306292134]
フェデレートラーニング(FL)は、データプライバシを維持しながら、エッジデバイス上で共有モデルの協調トレーニングを可能にする。
様々なパーソナライズされたアプローチが提案されているが、そのようなアプローチはデータ分散の根底にある変化に対処できない。
本稿では,ブロックチェーンとフェデレーション学習に基づく動的に最適化された個人深層学習手法を提案する。
論文 参考訳(メタデータ) (2021-03-12T02:57:05Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳(メタデータ) (2021-01-06T17:36:26Z) - FedDANE: A Federated Newton-Type Method [49.9423212899788]
フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。
我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
論文 参考訳(メタデータ) (2020-01-07T07:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。