論文の概要: Comfetch: Federated Learning of Large Networks on Constrained Clients
via Sketching
- arxiv url: http://arxiv.org/abs/2109.08346v2
- Date: Sat, 30 Sep 2023 07:12:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 21:51:28.863795
- Title: Comfetch: Federated Learning of Large Networks on Constrained Clients
via Sketching
- Title（参考訳）: Comfetch: Sketchingによる制約付きクライアント上の大規模ネットワークのフェデレーション学習
- Authors: Tahseen Rabbani, Brandon Feng, Marco Bornstein, Kyle Rui Sang, Yifan
Yang, Arjun Rajkumar, Amitabh Varshney, Furong Huang
- Abstract要約: フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。
我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
- 参考スコア（独自算出の注目度）: 28.990067638230254
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a popular paradigm for private and collaborative
model training on the edge. In centralized FL, the parameters of a global
architecture (such as a deep neural network) are maintained and distributed by
a central server/controller to clients who transmit model updates (gradients)
back to the server based on local optimization. While many efforts have focused
on reducing the communication complexity of gradient transmission, the vast
majority of compression-based algorithms assume that each participating client
is able to download and train the current and full set of parameters, which may
not be a practical assumption depending on the resource constraints of smaller
clients such as mobile devices. In this work, we propose a simple yet effective
novel algorithm, Comfetch, which allows clients to train large networks using
reduced representations of the global architecture via the count sketch, which
reduces local computational and memory costs along with bi-directional
communication complexity. We provide a nonconvex convergence guarantee and
experimentally demonstrate that it is possible to learn large models, such as a
deep convolutional network, through federated training on their sketched
counterparts. The resulting global models exhibit competitive test accuracy
over CIFAR10/100 classification when compared against un-compressed model
training.
- Abstract（参考訳）: フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。
集中型FLでは、グローバルアーキテクチャ(ディープニューラルネットワークなど)のパラメータは、ローカル最適化に基づいてモデル更新(グラディエント)をサーバに送信するクライアントに、中央サーバ/コントローラによって維持および分散される。
多くの努力が勾配送信の通信複雑性の低減に重点を置いているが、圧縮ベースのアルゴリズムの大部分は、各クライアントが現在のパラメータセットとフルセットをダウンロードし、トレーニングすることができると仮定している。
本研究では、クライアントがカウントスケッチを用いてグローバルアーキテクチャの表現を減らし、局所的な計算とメモリコストと双方向通信の複雑さを低減し、大規模ネットワークを訓練することのできる、シンプルで効果的な新しいアルゴリズムComfetchを提案する。
本研究では,非凸収束保証を行い,深部畳み込みネットワークなどの大規模モデルを,スケッチによる連合学習を通じて学習できることを実験的に実証する。
結果のグローバルモデルは、圧縮されていないモデルトレーニングと比較した場合、CIFAR10/100分類よりも競争力のあるテスト精度を示す。
関連論文リスト
- Efficient Model Compression for Hierarchical Federated Learning [10.37403547348343]
フェデレートラーニング(FL)は、分散ラーニングシステム内のプライバシを保護する能力のために、大きな注目を集めている。
本稿では,クラスタ化FLとモデル圧縮の利点を統合した新しい階層型FLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-27T12:17:47Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - ResFed: Communication Efficient Federated Learning by Transmitting Deep
Compressed Residuals [24.13593410107805]
フェデレートラーニングは、学習したローカルモデルパラメータを共有することで、大規模分散クライアント間の協調トレーニングを可能にする。
モデルパラメータではなく残差を訓練用ネットワークに送信する残差ベースフェデレーション学習フレームワーク(ResFed)を導入する。
共通予測ルールを用いることで、ローカルモデルとグローバルモデルの両方が、常にクライアントとサーバで完全に回復可能である。
論文 参考訳（メタデータ） (2022-12-11T20:34:52Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Architecture Agnostic Federated Learning for Neural Networks [19.813602191888837]
この研究は、FedHeNN(Federated Heterogeneous Neural Networks)フレームワークを導入している。
FedHeNNは、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することを可能にする。
FedHeNNのキーとなるアイデアは、ピアクライアントから取得したインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。
論文 参考訳（メタデータ） (2022-02-15T22:16:06Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - Coded Federated Learning [5.375775284252717]
フェデレートラーニング(Federated Learning)とは、クライアントデバイスに分散した分散データからグローバルモデルをトレーニングする手法である。
この結果から,CFLでは,符号化されていない手法に比べて,大域的モデルを約4倍の速度で収束させることができることがわかった。
論文 参考訳（メタデータ） (2020-02-21T23:06:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。