論文の概要: Hybrid Federated and Centralized Learning

• arxiv url: http://arxiv.org/abs/2011.06892v2
• Date: Mon, 15 Feb 2021 20:28:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 00:58:39.193897
• Title: Hybrid Federated and Centralized Learning
• Title（参考訳）: ハイブリッドフェデレーションと集中型学習
• Authors: Ahmet M. Elbir, Sinem Coleri, Kumar Vijay Mishra
• Abstract要約: フェデレートラーニング(FL)により、クライアントはデータセット全体ではなく、モデル更新のみをPSに送信できる。 このようにして、FLは学習をエッジレベルに持ち込み、クライアント側で強力な計算リソースを必要とします。 我々は、学習モデルを効果的に訓練するために、新しいハイブリッド・フェデレーション・集中型学習(HFCL)フレームワークによってこの問題に対処する。
• 参考スコア（独自算出の注目度）: 25.592568132720157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many of the machine learning (ML) tasks are focused on centralized learning (CL), which requires the transmission of local datasets from the clients to a parameter server (PS) leading to a huge communication overhead. Federated learning (FL) overcomes this issue by allowing the clients to send only the model updates to the PS instead of the whole dataset. In this way, FL brings the learning to edge level, wherein powerful computational resources are required on the client side. This requirement may not always be satisfied because of diverse computational capabilities of edge devices. We address this through a novel hybrid federated and centralized learning (HFCL) framework to effectively train a learning model by exploiting the computational capability of the clients. In HFCL, only the clients who have sufficient resources employ FL; the remaining clients resort to CL by transmitting their local dataset to PS. This allows all the clients to collaborate on the learning process regardless of their computational resources. We also propose a sequential data transmission approach with HFCL (HFCL-SDT) to reduce the training duration. The proposed HFCL frameworks outperform previously proposed non-hybrid FL (CL) based schemes in terms of learning accuracy (communication overhead) since all the clients collaborate on the learning process with their datasets regardless of their computational resources.
• Abstract（参考訳）: 機械学習(ML)タスクの多くは、クライアントからパラメータサーバ(PS)へのローカルデータセットの送信を必要とする集中型学習(CL)に重点を置いている。 フェデレーション学習(fl)は、クライアントがデータセット全体ではなく、モデル更新のみをpsに送信可能にすることで、この問題を克服する。 このようにしてflは、クライアント側で強力な計算リソースを必要とするエッジレベルへの学習をもたらす。 この要求は常にエッジデバイスの様々な計算能力のために満たされるとは限らない。 我々は,クライアントの計算能力を活用し,学習モデルを効果的にトレーニングするための,新たなハイブリッドフェデレーション・集中学習(hfcl)フレームワークによってこの問題に対処した。 HFCLでは、十分なリソースを持つクライアントのみがFLを使用し、残りのクライアントはローカルデータセットをPSに送信することでCLに頼っている。 これにより、計算リソースに関係なく、すべてのクライアントが学習プロセスで協力することができます。 また,HFCL(HFCL-SDT)を用いた逐次データ伝送手法を提案する。 提案したHFCLフレームワークは,計算資源に関係なく,すべてのクライアントが学習プロセスとデータセットを連携するため,学習精度(通信オーバーヘッド)の観点から提案した非ハイブリッドFL(CL)ベースのスキームよりも優れていた。

関連論文リスト

• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• HierSFL: Local Differential Privacy-aided Split Federated Learning in Mobile Edge Computing [7.180235086275924]
  フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。 Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。 この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。 我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
  論文  参考訳（メタデータ） (2024-01-16T09:34:10Z)
• FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
  フェデレートラーニング(FL)がIoT(Internet of Things)で大人気 FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。 その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-15T10:13:44Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning Client Deployment Scheme [37.099990745974196]
  フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。 私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。 遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
  論文  参考訳（メタデータ） (2022-11-05T13:41:19Z)
• DReS-FL: Dropout-Resilient Secure Federated Learning for Non-IID Clients via Secret Data Sharing [7.573516684862637]
  フェデレートラーニング(FL)は、クライアントのプライベートデータを集中的に収集することなく、機械学習モデルの協調トレーニングを可能にする。 本稿では,ラグランジュコンピューティングに基づくDropout-Resilient Secure Federated Learningフレームワークを提案する。 DReS-FLはクライアントのドロップアウトに対して耐性があり、ローカルデータセットのプライバシ保護を提供する。
  論文  参考訳（メタデータ） (2022-10-06T05:04:38Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• A Family of Hybrid Federated and Centralized Learning Architectures in Machine Learning [7.99536002595393]
  機械学習タスクのためのハイブリッドフェデレーションと集中型学習(HFCL)を提案します。 flでは、十分なリソースを持つクライアントだけがflを採用し、残りのクライアントはpsにデータセットを送信し、モデルの代わりにモデルを計算する。 HFCLフレームワークは、クライアントの半分しかFLを実行せず、CLよりも50%$少ない通信オーバーヘッドを持つ場合、学習精度が最大20%$向上してFLを上回っています。
  論文  参考訳（メタデータ） (2021-05-07T14:28:33Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。