論文の概要: A Family of Hybrid Federated and Centralized Learning Architectures in Machine Learning

• arxiv url: http://arxiv.org/abs/2105.03288v1
• Date: Fri, 7 May 2021 14:28:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 12:07:02.401053
• Title: A Family of Hybrid Federated and Centralized Learning Architectures in Machine Learning
• Title（参考訳）: 機械学習におけるハイブリッド・フェデレーションと集中型学習アーキテクチャの一家族
• Authors: Ahmet M. Elbir and Sinem Coleri
• Abstract要約: 機械学習タスクのためのハイブリッドフェデレーションと集中型学習(HFCL)を提案します。 flでは、十分なリソースを持つクライアントだけがflを採用し、残りのクライアントはpsにデータセットを送信し、モデルの代わりにモデルを計算する。 HFCLフレームワークは、クライアントの半分しかFLを実行せず、CLよりも50%$少ない通信オーバーヘッドを持つ場合、学習精度が最大20%$向上してFLを上回っています。
• 参考スコア（独自算出の注目度）: 7.99536002595393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many of the machine learning tasks focus on centralized learning (CL), which requires the transmission of local datasets from the clients to a parameter server (PS) entailing huge communication overhead. To overcome this, federated learning (FL) has been a promising tool, wherein the clients send only the model updates to the PS instead of the whole dataset. However, FL demands powerful computational resources from the clients. Therefore, not all the clients can participate in training if they do not have enough computational resources. To address this issue, we introduce a more practical approach called hybrid federated and centralized learning (HFCL), wherein only the clients with sufficient resources employ FL, while the remaining ones send their datasets to the PS, which computes the model on behalf of them. Then, the model parameters corresponding to all clients are aggregated at the PS. To improve the efficiency of dataset transmission, we propose two different techniques: increased computation-per-client and sequential data transmission. The HFCL frameworks outperform FL with up to $20\%$ improvement in the learning accuracy when only half of the clients perform FL while having $50\%$ less communication overhead than CL since all the clients collaborate on the learning process with their datasets.
• Abstract（参考訳）: 機械学習タスクの多くは、クライアントからパラメータサーバ(PS)へのローカルデータセットの送信を必要とする集中型学習(CL)に焦点を当てている。 これを解決するために、フェデレーション学習(fl)は有望なツールであり、クライアントはデータセット全体ではなく、モデル更新のみをpsに送信する。 しかし、FLはクライアントから強力な計算資源を要求する。 したがって、計算リソースが十分でなければ、すべてのクライアントがトレーニングに参加できるわけではない。 この問題に対処するために,より実用的なアプローチであるハイブリッドフェデレーション・集中型学習(hfcl)を導入し,十分なリソースを持つクライアントのみがflを採用し,残りのクライアントはpsにデータセットを送信し,モデルに代えて計算を行う。 そして、すべてのクライアントに対応するモデルパラメータをPSに集約する。 データセット伝送の効率を向上させるために,クライアント毎の計算量の増加とシーケンシャルなデータ伝送の2つの手法を提案する。 hfclフレームワークは、すべてのクライアントがデータセットと学習プロセスでコラボレーションするため、clよりも50〜%少ない通信オーバーヘッドを持ちながら、クライアントの半分がflを実行するだけで、学習精度が最大20〜%向上するflを上回っている。

関連論文リスト

• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning [0.5510212613486574]
  Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。 効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
  論文  参考訳（メタデータ） (2024-02-11T20:15:52Z)
• FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
  フェデレートラーニング(FL)がIoT(Internet of Things)で大人気 FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。 その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-15T10:13:44Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Personalized Federated Learning with Multi-branch Architecture [0.0]
  フェデレートラーニング(FL)は、複数のクライアントが相互に生データを公開することなく、協力的にモデルをトレーニングすることを可能にする。 ニューラルネットワークの各レイヤを複数のブランチに分割し,各ブランチにクライアント固有の重みを割り当てることで,パーソナライズを実現するマルチブランチアーキテクチャを用いた新しいPFL手法(pFedMB)を提案する。 CIFAR10およびCIFAR100データセットを用いて,pFedMBが最先端のPFL法よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-11-15T06:30:57Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Aergia: Leveraging Heterogeneity in Federated Learning Systems [5.0650178943079]
  フェデレートラーニング(FL)は、クライアントを頼りに、ローカルデータセットを使用してグローバルモデルを更新する。 Aergiaは、遅いクライアントがトレーニングで最も計算集約的なモデルの一部を凍結する、新しいアプローチである。 AergiaはFedAvgとTiFLと比較して、異種条件下でのトレーニング時間を最大27%と53%と大幅に短縮する。
  論文  参考訳（メタデータ） (2022-10-12T12:59:18Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Hybrid Federated and Centralized Learning [25.592568132720157]
  フェデレートラーニング(FL)により、クライアントはデータセット全体ではなく、モデル更新のみをPSに送信できる。 このようにして、FLは学習をエッジレベルに持ち込み、クライアント側で強力な計算リソースを必要とします。 我々は、学習モデルを効果的に訓練するために、新しいハイブリッド・フェデレーション・集中型学習(HFCL)フレームワークによってこの問題に対処する。
  論文  参考訳（メタデータ） (2020-11-13T13:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。