論文の概要: FEDZIP: A Compression Framework for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2102.01593v1
• Date: Tue, 2 Feb 2021 16:33:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 10:15:17.304637
• Title: FEDZIP: A Compression Framework for Communication-Efficient Federated Learning
• Title（参考訳）: FEDZIP: コミュニケーション効率の高いフェデレーション学習のための圧縮フレームワーク
• Authors: Amirhossein Malekijoo, Mohammad Javad Fadaeieslam, Hanieh Malekijou, Morteza Homayounfar, Farshid Alizadeh-Shabdiz, Reza Rawassizadeh
• Abstract要約: Federated Learningは、無線デバイスのための分散機械学習の実装である。 各クライアントに独立して学習プロセスを割り当てる。 本稿では,クライアントとサーバ間のディープラーニングモデルから重みを転送しながら,更新サイズを大幅に削減する新しいフレームワークであるFedZipを提案する。
• 参考スコア（独自算出の注目度）: 2.334824705384299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning marks a turning point in the implementation of decentralized machine learning (especially deep learning) for wireless devices by protecting users' privacy and safeguarding raw data from third-party access. It assigns the learning process independently to each client. First, clients locally train a machine learning model based on local data. Next, clients transfer local updates of model weights and biases (training data) to a server. Then, the server aggregates updates (received from clients) to create a global learning model. However, the continuous transfer between clients and the server increases communication costs and is inefficient from a resource utilization perspective due to the large number of parameters (weights and biases) used by deep learning models. The cost of communication becomes a greater concern when the number of contributing clients and communication rounds increases. In this work, we propose a novel framework, FedZip, that significantly decreases the size of updates while transferring weights from the deep learning model between clients and their servers. FedZip implements Top-z sparsification, uses quantization with clustering, and implements compression with three different encoding methods. FedZip outperforms state-of-the-art compression frameworks and reaches compression rates up to 1085x, and preserves up to 99% of bandwidth and 99% of energy for clients during communication.
• Abstract（参考訳）: Federated Learningは、ユーザのプライバシを保護し、サードパーティのアクセスから生データを保護することによって、無線デバイスのための分散機械学習(特にディープラーニング)の実装の転換点となる。 学習プロセスを各クライアントに独立して割り当てます。 まず、クライアントはローカルデータに基づいて機械学習モデルをローカルにトレーニングする。 次に、クライアントはモデル重みとバイアス(データトレーニング)のローカルアップデートをサーバに転送する。 その後、サーバは更新(クライアントから受信)を集約し、グローバルな学習モデルを作成する。 しかし、クライアントとサーバ間の継続的な転送は通信コストを増大させ、ディープラーニングモデルで使用される多数のパラメータ(重みとバイアス)のためにリソース利用の観点から非効率である。 貢献するクライアントやコミュニケーションラウンドの数が増えると、コミュニケーションのコストが懸念されるようになります。 本研究では、クライアントとそのサーバ間のディープラーニングモデルから重みを転送しながら、更新のサイズを大幅に削減する新しいフレームワークであるFedZipを提案する。 fedzipはトップzスパーシフィケーションを実装し、クラスタリングで量子化を使用し、3つの異なるエンコーディングメソッドで圧縮を実装している。 FedZipは最先端の圧縮フレームワークを上回り、最大1085xまでの圧縮速度を達成し、通信中のクライアントの帯域幅とエネルギーの99%まで保持します。

関連論文リスト

• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Robust and Actively Secure Serverless Collaborative Learning [48.01929996757643]
  コラボレーティブ機械学習(ML)は、分散データからより良いモデルを学ぶために広く利用されている。 学習のための協調的なアプローチは、直感的にユーザデータを保護しますが、サーバ、クライアント、あるいはその両方に対して脆弱なままです。 本稿では、悪意のあるサーバに対してセキュアで、悪意のあるクライアントに対して堅牢なピアツーピア学習方式を提案する。
  論文  参考訳（メタデータ） (2023-10-25T14:43:03Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients [41.623518032533035]
  スプリットラーニングでは、モデルのごく一部だけがクライアントに格納され、トレーニングされ、残りの部分はサーバに留まる。 本稿では,勾配補正法を伴って,新たなクラスタリング方式を用いて付加的な通信を圧縮することにより,この問題に対処する。
  論文  参考訳（メタデータ） (2022-01-28T00:09:53Z)
• Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
  フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。 我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
  論文  参考訳（メタデータ） (2021-09-17T04:48:42Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data [3.7416826310878024]
  フェデレーション学習は、生データではなくモデルパラメータを交換することで、各クライアントのプライバシを保護するために使用される。 本稿では,連合学習の学習過程における通信オーバーヘッドを低減する新しいフレームワークであるRingFedを提案する。 2つの異なる公開データセットの実験は、RingFedが高速収束、モデル精度、通信コストの低いことを示している。
  論文  参考訳（メタデータ） (2021-07-19T13:43:10Z)
• A Family of Hybrid Federated and Centralized Learning Architectures in Machine Learning [7.99536002595393]
  機械学習タスクのためのハイブリッドフェデレーションと集中型学習(HFCL)を提案します。 flでは、十分なリソースを持つクライアントだけがflを採用し、残りのクライアントはpsにデータセットを送信し、モデルの代わりにモデルを計算する。 HFCLフレームワークは、クライアントの半分しかFLを実行せず、CLよりも50%$少ない通信オーバーヘッドを持つ場合、学習精度が最大20%$向上してFLを上回っています。
  論文  参考訳（メタデータ） (2021-05-07T14:28:33Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)
• Information-Theoretic Bounds on the Generalization Error and Privacy Leakage in Federated Learning [96.38757904624208]
  モバイルネットワーク上の機械学習アルゴリズムは、3つのカテゴリに分類される。 この研究の主な目的は、前述のすべての学習パラダイムに対する情報理論のフレームワークを提供することである。
  論文  参考訳（メタデータ） (2020-05-05T21:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。