論文の概要: Where to Begin? On the Impact of Pre-Training and Initialization in
Federated Learning
- arxiv url: http://arxiv.org/abs/2206.15387v3
- Date: Fri, 24 Mar 2023 19:09:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 03:14:03.541861
- Title: Where to Begin? On the Impact of Pre-Training and Initialization in
Federated Learning
- Title(参考訳): どこから始める?
フェデレーション学習における事前学習と初期化の影響について
- Authors: John Nguyen, Jianyu Wang, Kshitiz Malik, Maziar Sanjabi, Michael
Rabbat
- Abstract要約: フェデレート学習における事前学習モデルから始めることの影響について検討する。
事前訓練されたモデルから始めると、ターゲットエラー率に達するのに必要なトレーニング時間を短縮する。
- 参考スコア(独自算出の注目度): 18.138078314019737
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: An oft-cited challenge of federated learning is the presence of
heterogeneity. \emph{Data heterogeneity} refers to the fact that data from
different clients may follow very different distributions. \emph{System
heterogeneity} refers to client devices having different system capabilities. A
considerable number of federated optimization methods address this challenge.
In the literature, empirical evaluations usually start federated training from
random initialization. However, in many practical applications of federated
learning, the server has access to proxy data for the training task that can be
used to pre-train a model before starting federated training. Using four
standard federated learning benchmark datasets, we empirically study the impact
of starting from a pre-trained model in federated learning. Unsurprisingly,
starting from a pre-trained model reduces the training time required to reach a
target error rate and enables the training of more accurate models (up to 40\%)
than is possible when starting from random initialization. Surprisingly, we
also find that starting federated learning from a pre-trained initialization
reduces the effect of both data and system heterogeneity. We recommend future
work proposing and evaluating federated optimization methods to evaluate the
performance when starting from random and pre-trained initializations. This
study raises several questions for further work on understanding the role of
heterogeneity in federated optimization. \footnote{Our code is available at:
\url{https://github.com/facebookresearch/where_to_begin}}
- Abstract(参考訳): 連合学習の暗黙の挑戦は異質性の存在である。
\emph{Data heterogeneity} は、異なるクライアントのデータが全く異なる分散に従う可能性があるという事実を指す。
\emph{system heterogeneity} は異なるシステム能力を持つクライアントデバイスを指す。
かなりの数の最適化手法がこの課題に対処する。
文献では、経験的評価は通常ランダム初期化から連邦訓練を開始する。
しかし、フェデレーション学習の多くの実用的な応用において、サーバーは、フェデレーショントレーニングを開始する前にモデルの事前トレーニングに使用できるトレーニングタスクのプロキシデータにアクセスすることができる。
4つの標準フェデレーション学習ベンチマークデータセットを用いて、フェデレーション学習における事前学習モデルからの開始の影響を実証的に検討する。
当然ながら、事前訓練されたモデルから始めると、目標エラー率に達するのに必要なトレーニング時間を短縮し、ランダム初期化から始める場合よりも正確なモデルのトレーニング(最大40%)を可能にする。
驚くべきことに、事前訓練された初期化からフェデレート学習を始めることで、データとシステムの不均一性が低下する。
我々は,ランダムおよび事前学習初期化から始める際の性能を評価するために,フェデレーション最適化手法の提案と評価を推奨する。
本研究は,連帯最適化における不均一性の役割を理解するためのさらなる研究として,いくつかの疑問を提起する。
https://github.com/facebookresearch/where_to_begin}}
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳(メタデータ) (2023-07-12T16:28:21Z) - Federated Learning for Data Streams [12.856037831335994]
フェデレートラーニング(FL)は、IoTデバイスやスマートフォンが生成するデータ量の増加に対して、マシンラーニングモデルをトレーニングするための効果的なソリューションである。
フェデレートされた学習に関するこれまでの作業は、トレーニング開始前に収集された静的データセットでクライアントが動作することを前提としている。
本稿では,経験的リスク最小化によるデータストリームから学習する一般FLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-04T11:10:48Z) - Where to Begin? On the Impact of Pre-Training and Initialization in
Federated Learning [18.138078314019737]
フェデレート学習における事前学習モデルから始めることの影響について検討する。
事前訓練されたモデルから始めると、ターゲットエラー率に達するのに必要なトレーニング時間を短縮する。
論文 参考訳(メタデータ) (2022-10-14T20:25:35Z) - Lottery Tickets on a Data Diet: Finding Initializations with Sparse
Trainable Networks [40.55816472416984]
反復トレーニング(IMP; Frankle et al.)に関する目覚ましい観察は、x2014x2014の数百ステップの密集した後に、x$である。
本研究では、この事前学習の初期段階が、データとネットワークの両方に優れたIMPをもたらすかを理解することを目的とする。
損失景観密度ネットワークの新たな特性を同定し,性能の予測を行う。
論文 参考訳(メタデータ) (2022-06-02T20:04:06Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z) - Pretraining Federated Text Models for Next Word Prediction [0.2219120333734152]
我々は、次の単語予測(NWP)のためのフェデレーショントレーニングへのトランスファーラーニングの考え方を採用する。
我々は,ランダムモデルから事前学習アプローチの様々な組み合わせへのフェデレーショントレーニングベースラインの比較を行った。
必要なトレーニングラウンドやメモリフットプリントの数を増大させることなく、事前訓練した埋め込みを用いて、性能向上を実現する。
論文 参考訳(メタデータ) (2020-05-11T01:48:50Z) - Unshuffling Data for Improved Generalization [65.57124325257409]
トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。
本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
論文 参考訳(メタデータ) (2020-02-27T03:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。