論文の概要: Where to Begin? On the Impact of Pre-Training and Initialization in
Federated Learning
- arxiv url: http://arxiv.org/abs/2210.08090v1
- Date: Fri, 14 Oct 2022 20:25:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 16:38:58.505077
- Title: Where to Begin? On the Impact of Pre-Training and Initialization in
Federated Learning
- Title（参考訳）: どこから始める?
フェデレーション学習における事前学習と初期化の影響について
- Authors: John Nguyen, Jianyu Wang, Kshitiz Malik, Maziar Sanjabi, Michael
Rabbat
- Abstract要約: フェデレート学習における事前学習モデルから始めることの影響について検討する。
事前訓練されたモデルから始めると、ターゲットエラー率に達するのに必要なトレーニング時間を短縮する。
- 参考スコア（独自算出の注目度）: 18.138078314019737
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An oft-cited challenge of federated learning is the presence of
heterogeneity. \emph{Data heterogeneity} refers to the fact that data from
different clients may follow very different distributions. \emph{System
heterogeneity} refers to the fact that client devices have different system
capabilities. A considerable number of federated optimization methods address
this challenge. In the literature, empirical evaluations usually start
federated training from random initialization. However, in many practical
applications of federated learning, the server has access to proxy data for the
training task that can be used to pre-train a model before starting federated
training. We empirically study the impact of starting from a pre-trained model
in federated learning using four standard federated learning benchmark
datasets. Unsurprisingly, starting from a pre-trained model reduces the
training time required to reach a target error rate and enables the training of
more accurate models (up to 40\%) than is possible when starting from random
initialization. Surprisingly, we also find that starting federated learning
from a pre-trained initialization reduces the effect of both data and system
heterogeneity. We recommend that future work proposing and evaluating federated
optimization methods evaluate the performance when starting from random and
pre-trained initializations. We also believe this study raises several
questions for further work on understanding the role of heterogeneity in
federated optimization.
- Abstract（参考訳）: 連合学習の暗黙の挑戦は異質性の存在である。
\emph{Data heterogeneity} は、異なるクライアントのデータが全く異なる分散に従う可能性があるという事実を指す。
\emph{System heterogeneity} は、クライアントデバイスが異なるシステム機能を持っているという事実を指す。
かなりの数の最適化手法がこの課題に対処する。
文献では、経験的評価は通常ランダム初期化から連邦訓練を開始する。
しかし、フェデレーション学習の多くの実用的な応用において、サーバーは、フェデレーショントレーニングを開始する前にモデルの事前トレーニングに使用できるトレーニングタスクのプロキシデータにアクセスすることができる。
4つの標準フェデレーション学習ベンチマークデータセットを用いて、フェデレーション学習における事前学習モデルから始めることの影響を実証研究する。
当然ながら、事前訓練されたモデルから始めると、目標エラー率に達するのに必要なトレーニング時間を短縮し、ランダム初期化から始める場合よりも正確なモデルのトレーニング(最大40%)を可能にする。
驚くべきことに、事前訓練された初期化からフェデレート学習を始めることで、データとシステムの不均一性が低下する。
我々は、ランダムおよび事前学習初期化から始める際に、フェデレーション最適化手法の提案と評価を行うことを推奨する。
この研究は、フェデレート最適化における不均一性の役割を理解するために、いくつかの疑問を提起する。
関連論文リスト
- Ranking-based Client Selection with Imitation Learning for Efficient Federated Learning [20.412469498888292]
フェデレートラーニング(FL)は、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする。
各トレーニングラウンドにおける参加デバイスの選択は、モデル性能とトレーニング効率の両方に重大な影響を及ぼす。
我々は、エンドツーエンドのランキングベースのアプローチであるFedRankという新しいデバイス選択ソリューションを導入する。
論文 参考訳（メタデータ） (2024-05-07T08:44:29Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。
NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
論文 参考訳（メタデータ） (2023-06-06T18:02:02Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳（メタデータ） (2022-12-24T11:02:35Z) - Where to Begin? On the Impact of Pre-Training and Initialization in
Federated Learning [18.138078314019737]
フェデレート学習における事前学習モデルから始めることの影響について検討する。
事前訓練されたモデルから始めると、ターゲットエラー率に達するのに必要なトレーニング時間を短縮する。
論文 参考訳（メタデータ） (2022-06-30T16:18:21Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - FedAUX: Leveraging Unlabeled Auxiliary Data in Federated Learning [14.10627556244287]
フェデレート蒸留(Federated Distillation, FD)は、フェデレート学習のための新しいアルゴリズムパラダイムである。
ラベルなし補助データから最大ユーティリティを導出することで性能を大幅に向上するFedAUXを提案する。
大規模畳み込みニューラルネットワークとトランスフォーマーモデルの実験により、FedAUXのトレーニング性能がSOTA FLベースライン法を上回ることを示した。
論文 参考訳（メタデータ） (2021-02-04T09:53:53Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。