論文の概要: Where to Begin? Exploring the Impact of Pre-Training and Initialization
in Federated Learning
- arxiv url: http://arxiv.org/abs/2206.15387v1
- Date: Thu, 30 Jun 2022 16:18:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 18:51:51.340461
- Title: Where to Begin? Exploring the Impact of Pre-Training and Initialization
in Federated Learning
- Title（参考訳）: どこから始める?
フェデレート学習における事前学習と初期化の影響を探る
- Authors: John Nguyen, Kshitiz Malik, Maziar Sanjabi and Michael Rabbat
- Abstract要約: フェデレーション学習における事前学習モデルから始めることの影響について,4つの共通のフェデレーション学習ベンチマークを用いて検討した。
トレーニング済みのモデルから始めて、サーバでアダプティブを使用すると、常に最高の精度が得られます。
- 参考スコア（独自算出の注目度）: 5.027714423258538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An oft-cited challenge of federated learning is the presence of data
heterogeneity -- the data at different clients may follow very different
distributions. Several federated optimization methods have been proposed to
address these challenges. In the literature, empirical evaluations usually
start federated training from a random initialization. However, in many
practical applications of federated learning, the server has access to proxy
data for the training task which can be used to pre-train a model before
starting federated training. We empirically study the impact of starting from a
pre-trained model in federated learning using four common federated learning
benchmark datasets. Unsurprisingly, starting from a pre-trained model reduces
the training time required to reach a target error rate and enables training
more accurate models (by up to 40\%) than is possible than when starting from a
random initialization. Surprisingly, we also find that the effect of data
heterogeneity is much less significant when starting federated training from a
pre-trained initialization. Rather, when starting from a pre-trained model,
using an adaptive optimizer at the server, such as \textsc{FedAdam},
consistently leads to the best accuracy. We recommend that future work
proposing and evaluating federated optimization methods consider the
performance when starting both random and pre-trained initializations. We also
believe this study raises several questions for further work on understanding
the role of heterogeneity in federated optimization.
- Abstract（参考訳）: フェデレーション学習の最も大きな課題は、データの不均一性の存在である -- 異なるクライアントのデータは、非常に異なる分布に従う可能性がある。
これらの課題に対処するために、いくつかのフェデレーション最適化手法が提案されている。
文献では、経験的評価は通常ランダム初期化から連合トレーニングを開始する。
しかし,フェデレート学習の実践的な応用では,フェデレーション学習を始める前にモデルの事前トレーニングに使用できる訓練タスクのプロキシデータにアクセスすることができる。
4つの共通フェデレーション学習ベンチマークデータセットを用いて,事前学習モデルからの開始がフェデレーション学習に与える影響を実証的に検討した。
当然ながら、事前訓練されたモデルから始めると、ターゲットエラー率に達するのに必要なトレーニング時間を短縮し、ランダム初期化から始める場合よりも、より正確なモデル(最大40 %)をトレーニングできる。
驚くべきことに、事前訓練した初期化からフェデレートトレーニングを開始する場合、データの不均一性の影響ははるかに小さいことが判明した。
むしろ、事前訓練されたモデルから始めるとき、サーバで適応オプティマイザ(例えば、textsc{FedAdam})を使用すると、常に最高の精度が得られます。
我々は、ランダムな初期化と事前学習の両方を開始する際に、フェデレーション最適化手法の提案と評価を行うことを推奨する。
この研究は、フェデレート最適化における不均一性の役割を理解するために、いくつかの疑問を提起する。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Federated Learning for Data Streams [12.856037831335994]
フェデレートラーニング(FL)は、IoTデバイスやスマートフォンが生成するデータ量の増加に対して、マシンラーニングモデルをトレーニングするための効果的なソリューションである。
フェデレートされた学習に関するこれまでの作業は、トレーニング開始前に収集された静的データセットでクライアントが動作することを前提としている。
本稿では,経験的リスク最小化によるデータストリームから学習する一般FLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-04T11:10:48Z) - Where to Begin? On the Impact of Pre-Training and Initialization in
Federated Learning [18.138078314019737]
フェデレート学習における事前学習モデルから始めることの影響について検討する。
事前訓練されたモデルから始めると、ターゲットエラー率に達するのに必要なトレーニング時間を短縮する。
論文 参考訳（メタデータ） (2022-10-14T20:25:35Z) - Lottery Tickets on a Data Diet: Finding Initializations with Sparse
Trainable Networks [40.55816472416984]
反復トレーニング(IMP; Frankle et al.)に関する目覚ましい観察は、x2014x2014の数百ステップの密集した後に、x$である。
本研究では、この事前学習の初期段階が、データとネットワークの両方に優れたIMPをもたらすかを理解することを目的とする。
損失景観密度ネットワークの新たな特性を同定し,性能の予測を行う。
論文 参考訳（メタデータ） (2022-06-02T20:04:06Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - Pretraining Federated Text Models for Next Word Prediction [0.2219120333734152]
我々は、次の単語予測(NWP)のためのフェデレーショントレーニングへのトランスファーラーニングの考え方を採用する。
我々は,ランダムモデルから事前学習アプローチの様々な組み合わせへのフェデレーショントレーニングベースラインの比較を行った。
必要なトレーニングラウンドやメモリフットプリントの数を増大させることなく、事前訓練した埋め込みを用いて、性能向上を実現する。
論文 参考訳（メタデータ） (2020-05-11T01:48:50Z) - Unshuffling Data for Improved Generalization [65.57124325257409]
トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。
本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
論文 参考訳（メタデータ） (2020-02-27T03:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。