論文の概要: FedAvg with Fine Tuning: Local Updates Lead to Representation Learning
- arxiv url: http://arxiv.org/abs/2205.13692v1
- Date: Fri, 27 May 2022 00:55:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-05-30 14:51:05.216252
- Title: FedAvg with Fine Tuning: Local Updates Lead to Representation Learning
- Title（参考訳）: 微調整によるFedAvg: ローカルアップデートは表現学習につながる
- Authors: Liam Collins, Hamed Hassani, Aryan Mokhtari, Sanjay Shakkottai
- Abstract要約: Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。
我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。
異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
- 参考スコア（独自算出の注目度）: 54.65133770989836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Federated Averaging (FedAvg) algorithm, which consists of alternating
between a few local stochastic gradient updates at client nodes, followed by a
model averaging update at the server, is perhaps the most commonly used method
in Federated Learning. Notwithstanding its simplicity, several empirical
studies have illustrated that the output model of FedAvg, after a few
fine-tuning steps, leads to a model that generalizes well to new unseen tasks.
This surprising performance of such a simple method, however, is not fully
understood from a theoretical point of view. In this paper, we formally
investigate this phenomenon in the multi-task linear representation setting. We
show that the reason behind generalizability of the FedAvg's output is its
power in learning the common data representation among the clients' tasks, by
leveraging the diversity among client data distributions via local updates. We
formally establish the iteration complexity required by the clients for proving
such result in the setting where the underlying shared representation is a
linear map. To the best of our knowledge, this is the first such result for any
setting. We also provide empirical evidence demonstrating FedAvg's
representation learning ability in federated image classification with
heterogeneous data.
- Abstract（参考訳）: フェデレート平均化(FedAvg)アルゴリズムは、クライアントノードでのいくつかの局所確率勾配更新と、サーバでのモデル平均化更新を交互に行うもので、おそらくフェデレート学習で最も一般的に使用される方法である。
その単純さにも拘わらず、いくつかの実証的な研究は、FedAvgの出力モデルがいくつかの微調整ステップの後、新しい目に見えないタスクにうまく一般化するモデルに導かれることを示した。
しかし、このような単純な手法の驚くべき性能は、理論的な観点から完全には理解されていない。
本稿では,マルチタスク線形表現設定において,この現象を正式に検討する。
我々は、FedAvgの出力の一般化の背景には、クライアントデータ分散の多様性をローカル更新を通じて活用することにより、クライアントのタスク間の共通データ表現を学習する能力があることを示す。
このような結果を証明するためにクライアントが必要とするイテレーションの複雑さを,基盤となる共有表現が線形写像であるような設定で正式に確立する。
私たちの知る限りでは、これはどんな設定でも最初の結果です。
異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
関連論文リスト
- FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳（メタデータ） (2024-02-10T18:14:57Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-22T04:06:29Z) - On the effectiveness of partial variance reduction in federated learning
with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。
そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。
同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-05T11:56:35Z) - Federated Learning with Intermediate Representation Regularization [14.01585596739954]
フェデレートラーニング(FL)は、リモートクライアントがプライベートデータを公開せずに、協力的にモデルをトレーニングすることを可能にする。
従来の研究では、局所モデルと大域モデルによって学習された表現間の距離を規則化することでこれを達成している。
我々はFedIntRを導入し、中間層の表現を局所的なトレーニングプロセスに統合することで、よりきめ細かい正規化を提供する。
論文 参考訳（メタデータ） (2022-10-28T01:43:55Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。