論文の概要: When Do Curricula Work in Federated Learning?

• arxiv url: http://arxiv.org/abs/2212.12712v1
• Date: Sat, 24 Dec 2022 11:02:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 13:56:26.376544
• Title: When Do Curricula Work in Federated Learning?
• Title（参考訳）: curriculaはいつ連合学習で働くのか?
• Authors: Saeed Vahidian, Sreevatsank Kadaveru, Woonjoon Baek, Weijia Wang, Vyacheslav Kungurtsev, Chen Chen, Mubarak Shah, and Bill Lin
• Abstract要約: カリキュラム学習は非IID性を大幅に軽減する。 クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。 本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
• 参考スコア（独自算出の注目度）: 56.88941905240137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An oft-cited open problem of federated learning is the existence of data heterogeneity at the clients. One pathway to understanding the drastic accuracy drop in federated learning is by scrutinizing the behavior of the clients' deep models on data with different levels of "difficulty", which has been left unaddressed. In this paper, we investigate a different and rarely studied dimension of FL: ordered learning. Specifically, we aim to investigate how ordered learning principles can contribute to alleviating the heterogeneity effects in FL. We present theoretical analysis and conduct extensive empirical studies on the efficacy of orderings spanning three kinds of learning: curriculum, anti-curriculum, and random curriculum. We find that curriculum learning largely alleviates non-IIDness. Interestingly, the more disparate the data distributions across clients the more they benefit from ordered learning. We provide analysis explaining this phenomenon, specifically indicating how curriculum training appears to make the objective landscape progressively less convex, suggesting fast converging iterations at the beginning of the training procedure. We derive quantitative results of convergence for both convex and nonconvex objectives by modeling the curriculum training on federated devices as local SGD with locally biased stochastic gradients. Also, inspired by ordered learning, we propose a novel client selection technique that benefits from the real-world disparity in the clients. Our proposed approach to client selection has a synergic effect when applied together with ordered learning in FL.
• Abstract（参考訳）: フェデレーション学習のオープンな問題は、クライアントにおけるデータ不均一性の存在である。 連邦学習における大幅な精度低下を理解するための道の1つは、クライアントの深層モデルの振る舞いを異なるレベルの「難易度」を持つデータで精査することである。 本稿では,FLの異なる,まれに研究される次元である順序学習について検討する。 具体的には,順序付けられた学習原理がflの異質性効果の軽減にどのように寄与するかを検討することを目的とする。 本稿では,理論解析を行い,カリキュラム,反カリキュラム,ランダムカリキュラムの3種類の学習にまたがる順序の有効性に関する広範な実証研究を行う。 カリキュラム学習は非IID性を大幅に軽減する。 興味深いことに、クライアント間のデータ分散が多ければ多いほど、順序付き学習の恩恵を受ける。 本稿では,この現象を説明する分析を行い,カリキュラムの学習が対象のランドスケープを段階的に小さくすることを示すとともに,学習手順開始時の反復の高速化を示唆する。 局所バイアスの確率勾配を持つ局所SGDとしてフェデレーションデバイス上でのカリキュラムトレーニングをモデル化することにより,凸目標と非凸目標の収束の定量的結果を得る。 また,注文学習に触発されて,クライアントの現実世界の格差を生かした新しいクライアント選択手法を提案する。 クライアント選択に対する提案手法はFLにおける順序学習と併用した場合に相乗効果がある。

関連論文リスト

• SoK: Challenges and Opportunities in Federated Unlearning [32.0365189539138]
  本論文は、この新興分野における研究動向と課題を特定することを目的として、未学習の未学習文学を深く研究することを目的としている。
  論文  参考訳（メタデータ） (2024-03-04T19:35:08Z)
• Federated Learning Can Find Friends That Are Advantageous [14.993730469216546]
  フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。 本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T17:46:37Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
  フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。 本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。 この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-09-16T11:30:29Z)
• Collaborating Heterogeneous Natural Language Processing Tasks via Federated Learning [55.99444047920231]
  提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。 自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-12T09:27:50Z)
• Addressing Client Drift in Federated Continual Learning with Adaptive Optimization [10.303676184878896]
  本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。 適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
  論文  参考訳（メタデータ） (2022-03-24T20:00:03Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
  我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。 我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
  論文  参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。