Fugu-MT 論文翻訳(概要): Expediting In-Network Federated Learning by Voting-Based Consensus Model Compression

論文の概要: Expediting In-Network Federated Learning by Voting-Based Consensus Model Compression

arxiv url: http://arxiv.org/abs/2402.03815v1
Date: Tue, 6 Feb 2024 09:00:05 GMT
ステータス: 処理完了
システム内更新日: 2024-02-07 15:42:08.274291
Title: Expediting In-Network Federated Learning by Voting-Based Consensus Model Compression
Title（参考訳）: 投票に基づく合意モデル圧縮によるネットワーク内フェデレーション学習の迅速化
Authors: Xiaoxin Su, Yipeng Zhou, Laizhong Cui and Song Guo
Abstract要約: 本稿では,クライアント投票とモデル集約という2つのフェーズからなるFediAC(Federated Learning Aggregation with Compression)アルゴリズムを提案する。 FediACは、クライアント間のコンセンサス圧縮を保証するため、既存の作業よりもメモリスペースと通信トラフィックをはるかに少なく消費する。我々は、FediACがモデル精度と通信トラフィックの点で最先端のベースラインを著しく上回っていることを示すために、公開データセットを使用して広範な実験を行う。
参考スコア（独自算出の注目度）: 28.688895217988925
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, federated learning (FL) has gained momentum because of its capability in preserving data privacy. To conduct model training by FL, multiple clients exchange model updates with a parameter server via Internet. To accelerate the communication speed, it has been explored to deploy a programmable switch (PS) in lieu of the parameter server to coordinate clients. The challenge to deploy the PS in FL lies in its scarce memory space, prohibiting running memory consuming aggregation algorithms on the PS. To overcome this challenge, we propose Federated Learning in-network Aggregation with Compression (FediAC) algorithm, consisting of two phases: client voting and model aggregating. In the former phase, clients report their significant model update indices to the PS to estimate global significant model updates. In the latter phase, clients upload global significant model updates to the PS for aggregation. FediAC consumes much less memory space and communication traffic than existing works because the first phase can guarantee consensus compression across clients. The PS easily aligns model update indices to swiftly complete aggregation in the second phase. Finally, we conduct extensive experiments by using public datasets to demonstrate that FediAC remarkably surpasses the state-of-the-art baselines in terms of model accuracy and communication traffic.
Abstract（参考訳）: 近年,データプライバシの保護能力により,連合学習(FL)が勢いを増している。 FLによるモデルトレーニングを行うために、複数のクライアントがパラメータサーバとインターネットを介してモデル更新を交換する。通信速度を高速化するため,パラメータサーバの代わりにプログラマブルスイッチ(PS)を配置してクライアントのコーディネートを行う方法が検討されている。 PSをFLにデプロイする際の課題はメモリスペースの不足にあり、PS上でメモリ消費集約アルゴリズムの実行を禁止している。この課題を解決するために,クライアント投票とモデル集約という2つのフェーズからなるFediAC(Federated Learning Aggregation with Compression)アルゴリズムを提案する。前フェーズでは、クライアントがPSに重要なモデル更新指標を報告し、世界的な重要なモデル更新を見積もる。後者のフェーズでは、クライアントは集約のためにグローバルに重要なモデルの更新をPSにアップロードする。 FediACは、クライアント間のコンセンサス圧縮を保証するため、既存の作業よりもメモリスペースと通信トラフィックをはるかに少なく消費する。 PSは、モデル更新インデックスを第2フェーズで迅速に完全なアグリゲーションに調整する。最後に,fediacがモデル精度と通信トラフィックの面で最先端のベースラインを著しく上回っていることを示すために,公開データセットを用いて広範な実験を行った。

関連論文リスト

FedAR: Addressing Client Unavailability in Federated Learning with Local Update Approximation and Rectification [8.747592727421596]
フェデレートラーニング(FL)は、クライアントがサーバの調整の下で機械学習モデルを協調的にトレーニングすることを可能にする。 FedARは、すべてのクライアントをグローバルモデルアップデートに参加させて、サーバ上の高品質なグローバルモデルを達成することができます。 FedARはまた、多くのクライアントが存在し、クライアントが利用できないという印象的なパフォーマンスを描いている。
論文参考訳（メタデータ） (2024-07-26T21:56:52Z)
PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文参考訳（メタデータ） (2024-06-04T13:51:08Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文参考訳（メタデータ） (2024-02-06T07:25:21Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
FedCliP: Federated Learning with Client Pruning [3.796320380104124]
フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
論文参考訳（メタデータ） (2023-01-17T09:15:37Z)
Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning [28.185096784982544]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
論文参考訳（メタデータ） (2022-12-19T14:19:07Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
FedNet2Net: Saving Communication and Computations in Federated Learning with Model Growing [0.0]
フェデレート・ラーニング(Federated Learning, FL)は、最近開発された機械学習の分野である。本稿では「モデル成長」の概念に基づく新しいスキームを提案する。提案手法は3つの標準ベンチマークで広範囲に検証され、通信とクライアントの計算の大幅な削減を実現することが示されている。
論文参考訳（メタデータ） (2022-07-19T21:54:53Z)
Slashing Communication Traffic in Federated Learning by Transmitting Clustered Model Updates [12.660500431713336]
Federated Learning(FL)は、複数のクライアントが共同で学習モデルをトレーニングできる、新たな分散型学習フレームワークである。クライアントとパラメータサーバ間のインターネットを介してモデル更新を交換することで、通信トラフィックが増大する可能性がある。本研究では,ソフトウェアクラスタリング(MUCSC)によるモデル更新圧縮を考案し,クライアントとPS間で送信されるモデル更新を圧縮する。
論文参考訳（メタデータ） (2021-05-10T07:15:49Z)
Timely Communication in Federated Learning [65.1253801733098]
我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
論文参考訳（メタデータ） (2020-12-31T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。