論文の概要: FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients

• arxiv url: http://arxiv.org/abs/2201.11865v1
• Date: Fri, 28 Jan 2022 00:09:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 09:12:40.737414
• Title: FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients
• Title（参考訳）: FedLite: リソース制約のあるクライアント上でのフェデレーション学習のためのスケーラブルなアプローチ
• Authors: Jianyu Wang, Hang Qi, Ankit Singh Rawat, Sashank Reddi, Sagar Waghmare, Felix X. Yu, Gauri Joshi
• Abstract要約: スプリットラーニングでは、モデルのごく一部だけがクライアントに格納され、トレーニングされ、残りの部分はサーバに留まる。 本稿では,勾配補正法を伴って,新たなクラスタリング方式を用いて付加的な通信を圧縮することにより,この問題に対処する。
• 参考スコア（独自算出の注目度）: 41.623518032533035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In classical federated learning, the clients contribute to the overall training by communicating local updates for the underlying model on their private data to a coordinating server. However, updating and communicating the entire model becomes prohibitively expensive when resource-constrained clients collectively aim to train a large machine learning model. Split learning provides a natural solution in such a setting, where only a small part of the model is stored and trained on clients while the remaining large part of the model only stays at the servers. However, the model partitioning employed in split learning introduces a significant amount of communication cost. This paper addresses this issue by compressing the additional communication using a novel clustering scheme accompanied by a gradient correction method. Extensive empirical evaluations on image and text benchmarks show that the proposed method can achieve up to $490\times$ communication cost reduction with minimal drop in accuracy, and enables a desirable performance vs. communication trade-off.
• Abstract（参考訳）: 古典的なフェデレーション学習では、クライアントは、プライベートデータ上の基盤モデルのローカルアップデートをコーディネートサーバに伝えて、全体的なトレーニングに寄与する。 しかし、リソースに制約のあるクライアントが大規模な機械学習モデルを学習しようとすると、モデル全体の更新と通信は極めて高価になる。 分割学習は、モデルの一部だけがクライアントに保存され、トレーニングされ、残りの大部分がサーバに留まっているような環境で、自然なソリューションを提供する。 しかし、分割学習で使用されるモデル分割は、かなりの通信コストをもたらす。 本稿では,勾配補正法を併用した新しいクラスタリング方式を用いて,付加的な通信を圧縮することで,この問題に対処する。 画像およびテキストベンチマークの広範な実証評価により、提案手法は最大490\times$の通信コストを最小の精度で削減でき、望ましい性能と通信トレードオフを実現できることが示された。

関連論文リスト

• SFPrompt: Communication-Efficient Split Federated Fine-Tuning for Large Pre-Trained Models over Resource-Limited Devices [10.10998320880871]
  SFPromptは、フェデレーション設定に適したプライバシー保護のための微調整手法である。 分割学習と連合学習を組み合わせてこれらの課題に対処する。 SFPromptは、フェデレートされた完全な微調整アプローチとして、競争力のあるパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-07-24T04:22:37Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training [1.0413504599164103]
  フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。 FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。 本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
  論文  参考訳（メタデータ） (2023-04-15T06:46:37Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
  フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。 我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
  論文  参考訳（メタデータ） (2021-09-17T04:48:42Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Communication-Efficient Federated Learning via Optimal Client Sampling [20.757477553095637]
  フェデレートラーニング(FL)は、中央サーバが多くのクライアントに分散したデータから学習をコーディネートする設定におけるプライバシー上の懸念を改善する。 本稿では,コミュニケーション制約のある環境において,新しい,シンプルで効率的な中央モデルを更新する方法を提案する。 我々は,ロジスティック回帰のための合成データセットと2つのFLベンチマーク,すなわちEMNISTの分類タスクと現実的な言語モデリングタスクを用いて,このポリシーを検証した。
  論文  参考訳（メタデータ） (2020-07-30T02:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。