論文の概要: SuperFed: Weight Shared Federated Learning
- arxiv url: http://arxiv.org/abs/2301.10879v1
- Date: Thu, 26 Jan 2023 00:17:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 14:47:58.328488
- Title: SuperFed: Weight Shared Federated Learning
- Title(参考訳): superfed: 重み共有連合学習
- Authors: Alind Khare, Animesh Agrawal, Myungjin Lee, Alexey Tumanov
- Abstract要約: グローバルモデルのファミリーをトレーニングするためには、フェデレートされた方法で効率よくコストがかかる。
SuperFed - 大規模なモデル群を共同トレーニングするために、$O(1)$コストを発生させるアーキテクチャフレームワークを提案する。
通信と計算の両方において、大幅なコスト削減を実現しています。
- 参考スコア(独自算出の注目度): 4.396860522241306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a well-established technique for privacy
preserving distributed training. Much attention has been given to various
aspects of FL training. A growing number of applications that consume
FL-trained models, however, increasingly operate under dynamically and
unpredictably variable conditions, rendering a single model insufficient. We
argue for training a global family of models cost efficiently in a federated
fashion. Training them independently for different tradeoff points incurs
$O(k)$ cost for any k architectures of interest, however. Straightforward
applications of FL techniques to recent weight-shared training approaches is
either infeasible or prohibitively expensive. We propose SuperFed - an
architectural framework that incurs $O(1)$ cost to co-train a large family of
models in a federated fashion by leveraging weight-shared learning. We achieve
an order of magnitude cost savings on both communication and computation by
proposing two novel training mechanisms: (a) distribution of weight-shared
models to federated clients, (b) central aggregation of arbitrarily overlapping
weight-shared model parameters. The combination of these mechanisms is shown to
reach an order of magnitude (9.43x) reduction in computation and communication
cost for training a $5*10^{18}$-sized family of models, compared to
independently training as few as $k = 9$ DNNs without any accuracy loss.
- Abstract(参考訳): フェデレーテッド・ラーニング(FL)は、分散トレーニングをプライバシに保存するための確立したテクニックである。
flトレーニングのさまざまな側面に多くの注意が払われている。
しかし、flで訓練されたモデルを消費するアプリケーションの数は増加しており、動的かつ予測不能な条件下での運用が増え、単一のモデルでは不十分になっている。
グローバルなモデルファミリーのトレーニングは、フェデレーション方式で効率的にコストがかかると論じている。
しかし、異なるトレードオフポイントに対して独立したトレーニングを行うと、興味のあるkアーキテクチャに対して$O(k)$コストが発生する。
FL手法の最近の重み付けトレーニングアプローチへのストレートフォワード適用は、実現不可能または違法に高価である。
SuperFed - 重み付き学習を活用することで、大きなモデルのファミリーを連携して訓練する、コスト$O(1)のアーキテクチャフレームワークを提案する。
2つの新しい訓練機構を提案することにより,コミュニケーションと計算の両面で1桁のコスト削減を実現する。
(a)連合顧客に対する重み付きモデルの分布
(b)重み付きモデルパラメータの任意の重み付けの中央集約。
これらの機構の組み合わせは、5*10^{18}$サイズのモデルの訓練に要する計算コストと通信コストの桁違い(9.43倍)に低下することが示されている。
関連論文リスト
- Exploring Parameter-Efficient Fine-tuning for Improving Communication
Efficiency in Federated Learning [14.372498017434046]
フェデレート学習におけるパラメータ効率向上のための微調整法について検討する。
モデル重みのごく一部を共有することで、全体の通信オーバーヘッドを大幅に削減することができる。
論文 参考訳(メタデータ) (2022-10-04T16:08:54Z) - Towards Sparsified Federated Neuroimaging Models via Weight Pruning [13.0319103091844]
FedSparsifyは、フェデレートトレーニング中にモデルプルーニングを実行する。
性能に影響を与えることなく、95%の間隔でモデルを刈り取ることができることを示す。
モデルプルーニングの驚くべきメリットのひとつは、モデルのプライバシを改善することだ。
論文 参考訳(メタデータ) (2022-08-24T17:05:47Z) - FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale
Neural Networks through Federated Learning [18.357577491590686]
本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。
FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。
実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
論文 参考訳(メタデータ) (2022-08-10T06:36:49Z) - ZeroFL: Efficient On-Device Training for Federated Learning with Local
Sparsity [15.908499928588297]
フェデレートラーニング(FL)では、ノードは従来のサーバグレードのハードウェアよりも桁違いに制約を受ける。
我々は、デバイス上でのトレーニングを加速するために、高度にスパースな操作に依存するZeroFLを提案する。
論文 参考訳(メタデータ) (2022-08-04T07:37:07Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳(メタデータ) (2022-02-16T13:03:27Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳(メタデータ) (2022-01-27T08:43:11Z) - ProgFed: Effective, Communication, and Computation Efficient Federated
Learning by Progressive Training [78.44473677588887]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
これは本質的に、最終モデルの強力な性能を維持しながら、計算と双方向通信コストを削減します。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳(メタデータ) (2021-10-11T14:45:00Z) - A Contract Theory based Incentive Mechanism for Federated Learning [52.24418084256517]
フェデレートラーニング(FL)は、データプライバシ保護機械学習パラダイムとして機能し、分散クライアントによってトレーニングされた協調モデルを実現する。
FLタスクを達成するために、タスクパブリッシャはFLサーバに金銭的なインセンティブを支払う必要があり、FLサーバはFLクライアントにタスクをオフロードする。
タスクがクライアントによってプライベートにトレーニングされているという事実から、FLクライアントに対して適切なインセンティブを設計することは困難である。
論文 参考訳(メタデータ) (2021-08-12T07:30:42Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳(メタデータ) (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。