論文の概要: Federated Residual Learning
- arxiv url: http://arxiv.org/abs/2003.12880v1
- Date: Sat, 28 Mar 2020 19:55:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 23:27:49.186609
- Title: Federated Residual Learning
- Title(参考訳): 連合残留学習
- Authors: Alekh Agarwal, John Langford, Chen-Yu Wei
- Abstract要約: クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
- 参考スコア(独自算出の注目度): 53.77128418049985
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study a new form of federated learning where the clients train
personalized local models and make predictions jointly with the server-side
shared model. Using this new federated learning framework, the complexity of
the central shared model can be minimized while still gaining all the
performance benefits that joint training provides. Our framework is robust to
data heterogeneity, addressing the slow convergence problem traditional
federated learning methods face when the data is non-i.i.d. across clients. We
test the theory empirically and find substantial performance gains over
baselines.
- Abstract(参考訳): 我々は、クライアントがパーソナライズしたローカルモデルをトレーニングし、サーバサイド共有モデルと共同で予測を行う、新しい形式のフェデレーション学習について研究する。
この新しい連合学習フレームワークを使用することで、中央の共有モデルの複雑さを最小化し、共同トレーニングが提供するすべてのパフォーマンス上のメリットを享受することができる。
我々のフレームワークはデータの不均一性に対して堅牢であり、クライアント間でデータが非i.d.d.の場合、従来のフェデレーション学習手法が直面する緩やかな収束問題に対処する。
この理論を実証的に検証し、ベースラインよりもかなりの性能向上を見出した。
関連論文リスト
- Federated Learning based on Pruning and Recovery [0.0]
このフレームワークは非同期学習アルゴリズムとプルーニング技術を統合している。
異種デバイスを含むシナリオにおいて、従来のフェデレーション学習アルゴリズムの非効率性に対処する。
また、非同期アルゴリズムで特定のクライアントの不安定な問題や不適切なトレーニングにも取り組みます。
論文 参考訳(メタデータ) (2024-03-16T14:35:03Z) - How to Collaborate: Towards Maximizing the Generalization Performance in
Cross-Silo Federated Learning [12.86056968708516]
フェデレートクラスタリング(FL)は、プライバシを保存する分散学習フレームワークとして、鮮明な注目を集めている。
本研究では、クライアントがFLデータの後、モデルオーナーとなるクロスサイロFLに焦点を当てる。
我々は、より多くのトレーニングデータを持つ他のクライアントと協調することで、クライアントのパフォーマンスを改善できると定式化します。
論文 参考訳(メタデータ) (2024-01-24T05:41:34Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳(メタデータ) (2023-07-12T16:28:21Z) - FedIN: Federated Intermediate Layers Learning for Model Heterogeneity [7.781409257429762]
フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。
本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。
実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
論文 参考訳(メタデータ) (2023-04-03T07:20:43Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳(メタデータ) (2023-03-01T06:16:15Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳(メタデータ) (2022-04-27T05:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。