論文の概要: On Large-Cohort Training for Federated Learning

• arxiv url: http://arxiv.org/abs/2106.07820v1
• Date: Tue, 15 Jun 2021 00:40:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 14:59:52.542627
• Title: On Large-Cohort Training for Federated Learning
• Title（参考訳）: 連合学習のための大規模コーホート学習について
• Authors: Zachary Charles, Zachary Garrett, Zhouyuan Huo, Sergei Shmulyian, Virginia Smith
• Abstract要約: フェデレートされた学習方法は、典型的には、クライアントの集団から更新を反復的にサンプリングすることによってモデルを学習する。 本研究では,各ラウンドでサンプリングされたクライアント数が,学習モデルの品質とフェデレート学習アルゴリズムのトレーニングダイナミクスに与える影響について検討する。
• 参考スコア（独自算出の注目度）: 19.449029767106627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning methods typically learn a model by iteratively sampling updates from a population of clients. In this work, we explore how the number of clients sampled at each round (the cohort size) impacts the quality of the learned model and the training dynamics of federated learning algorithms. Our work poses three fundamental questions. First, what challenges arise when trying to scale federated learning to larger cohorts? Second, what parallels exist between cohort sizes in federated learning and batch sizes in centralized learning? Last, how can we design federated learning methods that effectively utilize larger cohort sizes? We give partial answers to these questions based on extensive empirical evaluation. Our work highlights a number of challenges stemming from the use of larger cohorts. While some of these (such as generalization issues and diminishing returns) are analogs of large-batch training challenges, others (including training failures and fairness concerns) are unique to federated learning.
• Abstract（参考訳）: 連合学習法は通常、多数のクライアントから更新を反復的にサンプリングしてモデルを学ぶ。 本研究では,各ラウンドにサンプリングされたクライアント数(コホートサイズ)が,学習モデルの品質とフェデレーション学習アルゴリズムのトレーニングダイナミクスに与える影響について検討する。 私たちの仕事は3つの基本的な疑問を提起する。 第一に、連合学習をより大きなコホートにスケールしようとすると、どんな課題が発生するのか? 第二に、連合学習におけるコホートサイズと集中学習におけるバッチサイズとの間には、どのような類似性があるのか? 最後に、より大きなコホートサイズを効果的に活用するフェデレーション学習手法をどう設計するか。 広範な経験的評価に基づいて,これらの質問に対して部分的な回答を与える。 私たちの研究は、より大きなコホートの使用による多くの課題を浮き彫りにしている。 これらのいくつか(一般化問題やリターンの減少など)は大規模なバッチトレーニング課題の類推であるが、他(トレーニング失敗やフェアネスの問題を含む)は連邦学習に特有のものである。

関連論文リスト

• CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
  FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。 より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
  論文  参考訳（メタデータ） (2024-10-08T02:23:16Z)
• When Do Curricula Work in Federated Learning? [56.88941905240137]
  カリキュラム学習は非IID性を大幅に軽減する。 クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。 本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
  論文  参考訳（メタデータ） (2022-12-24T11:02:35Z)
• Class-Incremental Learning via Knowledge Amalgamation [14.513858688486701]
  破滅的な忘れ込みは、継続的な学習環境におけるディープラーニングアルゴリズムの展開を妨げる重要な問題である。 我々は、知識の融合(CFA)による破滅的な忘れを解消するための代替戦略を提唱した。 CFAは、過去のタスクに特化した複数の異種教師モデルから学生ネットワークを学習し、現在のオフライン手法に適用することができる。
  論文  参考訳（メタデータ） (2022-09-05T19:49:01Z)
• Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
  フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。 本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。 我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
  論文  参考訳（メタデータ） (2022-08-19T17:57:32Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need in MOOC Forums [58.221459787471254]
  大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。 多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。 MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。 本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
  論文  参考訳（メタデータ） (2021-04-26T15:12:13Z)
• Curriculum Learning: A Survey [65.31516318260759]
  カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。 我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。 集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
  論文  参考訳（メタデータ） (2021-01-25T20:08:32Z)
• Federated Generative Adversarial Learning [13.543039993168735]
  GAN(Generative Adversarial Network)は、様々な現実世界のアプリケーションにおいて進歩を遂げている。 GANは実際のケースでデータ制限の問題に悩まされている。 本稿では,フェデレート学習フレームワークを用いた新しい生成学習手法を提案する。
  論文  参考訳（メタデータ） (2020-05-07T23:06:49Z)
• Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors [75.58555462743585]
  訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。 Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。 連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
  論文  参考訳（メタデータ） (2020-04-21T15:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。