論文の概要: Federated Learning of Large Models at the Edge via Principal Sub-Model
Training
- arxiv url: http://arxiv.org/abs/2208.13141v3
- Date: Tue, 10 Oct 2023 23:04:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 16:18:03.002281
- Title: Federated Learning of Large Models at the Edge via Principal Sub-Model
Training
- Title（参考訳）: 主要サブモデルトレーニングによるエッジにおける大規模モデルのフェデレーション学習
- Authors: Yue Niu, Saurav Prakash, Souvik Kundu, Sunwoo Lee, Salman Avestimehr
- Abstract要約: Federated Learning (FL)は、クライアント間の協調的なトレーニングを可能にする、人気のある、有望な分散型学習フレームワークとして浮上している。
本研究では,PriSM(Principal Sub-model)トレーニング手法を開発し,サーバモデルに対する確率的低ランク近似である小さなサブモデルを各クライアントに割り当てる。
- 参考スコア（独自算出の注目度）: 22.54297471651581
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is emerging as a popular, promising decentralized
learning framework that enables collaborative training among clients, with no
need to share private data between them or to a centralized server. However,
considering many edge clients do not have sufficient computing, memory, or
communication capabilities, federated learning of large models still faces
significant bottlenecks. To keep such weak but crucial clients in the loop,
prior works either consider a heterogeneous-client setting where clients train
models with different sizes; or offload training to the server. However, the
heterogeneous-client setting requires some clients to train full model, which
is not aligned with the resource-constrained setting; while the latter ones
break privacy promises in FL when sharing intermediate representations or
labels with the server. To overcome these limitations, in this work, we
formulate a realistic, but much less explored, cross-device FL setting in which
no client can train a full large model nor is willing to share any intermediate
information with the remote server. Under such a formulation, we develop a
principal sub-model (PriSM) training methodology to collaboratively train a
full large model, while assigning each client a small sub-model that is a
probabilistic low-rank approximation to the full server model. When creating
sub-models, PriSM first performs a principal kernel analysis in the orthogonal
kernel space to obtain importance of each kernel. Then, PriSM adopts a novel
importance-aware sampling process to select a subset of kernels (i.e., a kernel
with high importance is assigned with a higher sampling probability). This
sampling process ensures each sub-model is still a low-rank approximation to
the full model, while all sub-models together achieve nearly full coverage on
the principal kernels.
- Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、クライアント間のプライベートデータ共有や集中型サーバへの共有を必要とせずに、クライアント間のコラボレーショントレーニングを可能にする、ポピュラーで有望な分散学習フレームワークとして登場している。
しかし、多くのエッジクライアントは十分なコンピューティング、メモリ、通信能力を持っていないため、大規模モデルの連合学習は依然として重大なボトルネックに直面している。
このような弱いが重要なクライアントをループに保持するには、クライアントが異なるサイズのモデルをトレーニングするヘテロジニアスクライアントの設定を検討するか、サーバにトレーニングをオフロードするかのどちらかである。
しかし、不均一なクライアント側設定では、一部のクライアントはリソース制限された設定と一致しないフルモデルをトレーニングする必要がある。
このような制限を克服するため、本研究では、クライアントが完全な大規模モデルをトレーニングしたり、中間情報をリモートサーバと共有したりできないような、現実的な、しかしはるかに探索の少ないクロスデバイスfl設定を定式化します。
このような定式化の下で,我々は,完全サーバモデルに対する確率的低ランク近似である小さなサブモデルを各クライアントに割り当てながら,完全大規模モデルを協調的に訓練するプリンシパルサブモデル(PriSM)訓練手法を開発した。
サブモデルを作成するとき、prismはまず直交カーネル空間で主カーネル解析を行い、各カーネルの重要性を得る。
次に、prismは、カーネルのサブセットを選択するために、新しい重要度対応サンプリングプロセスを採用する(すなわち、重要度の高いカーネルは、高いサンプリング確率で割り当てられる)。
このサンプリングプロセスにより、各サブモデルは依然としてフルモデルに対する低ランク近似であり、全てのサブモデルは主カーネルのほぼ完全なカバレッジを達成する。
関連論文リスト
- Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。
まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。
グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
論文 参考訳（メタデータ） (2024-11-09T02:41:53Z) - Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳（メタデータ） (2024-05-26T07:54:53Z) - Towards Client Driven Federated Learning [7.528642177161784]
私たちは、クライアントを駆動する新しいFLフレームワークであるクライアント駆動フェデレートラーニング(CDFL:Client-Driven Federated Learning)を紹介します。
CDFLでは、各クライアントは、ローカルにトレーニングされたモデルをサーバにアップロードし、ローカルタスクに合わせてカスタマイズされたモデルを受け取ることで、独立して非同期にモデルを更新する。
論文 参考訳（メタデータ） (2024-05-24T10:17:49Z) - PFSL: Personalized & Fair Split Learning with Data & Label Privacy for
thin clients [0.5144809478361603]
PFSLは分散分割学習の新しいフレームワークであり、多数のシンクライアントが並列にトランスファー学習を行う。
クライアントモデルのパーソナライズを行うための軽量なステップを実装し,それぞれのデータ分布に対して高いパフォーマンスを実現する。
我々の精度は現在のアルゴリズムSLをはるかに上回り、いくつかの実生活ベンチマークにおける集中学習に非常に近い。
論文 参考訳（メタデータ） (2023-03-19T10:38:29Z) - Complement Sparsification: Low-Overhead Model Pruning for Federated
Learning [2.0428960719376166]
フェデレートラーニング(Federated Learning, FL)は、プライバシに保護された分散ディープラーニングパラダイムであり、かなりのコミュニケーションと計算作業を伴う。
既存のモデルプルーニング/スパーシフィケーションソリューションは、サーバとクライアント間の双方向通信のオーバーヘッドが低いという要求を満たすことができません。
我々は,サーバとクライアントで行う補完的かつ協調的なプルーニングを通じて,これらの要求を満たすプルーニング機構であるComplement Sparsification (CS)を提案する。
論文 参考訳（メタデータ） (2023-03-10T23:07:02Z) - SplitGP: Achieving Both Generalization and Personalization in Federated
Learning [31.105681433459285]
SplitGPは、リソース制約のあるクライアント間の効率的な推論のために、一般化とパーソナライズ機能をキャプチャする。
我々はSplitGPの収束挙動を解析的に解析し、全てのクライアントモデルが定常点に接近していることを明らかにする。
実験結果から, SplitGPは, 種々の分布外サンプルに対して, 推定時間, 試験精度において, 既存のベースラインよりも高い性能を示した。
論文 参考訳（メタデータ） (2022-12-16T08:37:24Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。