Fugu-MT 論文翻訳(概要): Communication Optimization in Large Scale Federated Learning using Autoencoder Compressed Weight Updates

論文の概要: Communication Optimization in Large Scale Federated Learning using Autoencoder Compressed Weight Updates

arxiv url: http://arxiv.org/abs/2108.05670v1
Date: Thu, 12 Aug 2021 11:27:11 GMT
ステータス: 処理完了
システム内更新日: 2021-08-13 22:03:19.861233
Title: Communication Optimization in Large Scale Federated Learning using Autoencoder Compressed Weight Updates
Title（参考訳）: オートエンコーダ圧縮重み更新を用いた大規模フェデレーション学習における通信最適化
Authors: Srikanth Chandar, Pravin Chandran, Raghavendra Bhat, Avinash Chakravarthi
Abstract要約: Federated Learning(FL)は、データプライバシと計算上の課題に関する、この10年間の懸念の多くを解決する。この分散環境でのモデルウェイト更新の通信には、ネットワーク帯域幅の大幅なコストが伴う。本稿では,重み更新のデータ特徴を学習し,その後に圧縮を行う自動エンコーダ(AE)を用いて重み更新を圧縮する機構を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Federated Learning (FL) solves many of this decade's concerns regarding data privacy and computation challenges. FL ensures no data leaves its source as the model is trained at where the data resides. However, FL comes with its own set of challenges. The communication of model weight updates in this distributed environment comes with significant network bandwidth costs. In this context, we propose a mechanism of compressing the weight updates using Autoencoders (AE), which learn the data features of the weight updates and subsequently perform compression. The encoder is set up on each of the nodes where the training is performed while the decoder is set up on the node where the weights are aggregated. This setup achieves compression through the encoder and recreates the weights at the end of every communication round using the decoder. This paper shows that the dynamic and orthogonal AE based weight compression technique could serve as an advantageous alternative (or an add-on) in a large scale FL, as it not only achieves compression ratios ranging from 500x to 1720x and beyond, but can also be modified based on the accuracy requirements, computational capacity, and other requirements of the given FL setup.
Abstract（参考訳）: Federated Learning(FL)は、データプライバシと計算上の課題に関する、この10年間の懸念の多くを解決する。 flは、データが存在する場所でトレーニングされたモデルがソースを離れないことを保証する。しかし、FLには独自の課題が伴う。この分散環境におけるモデル重み付け更新の通信には、ネットワーク帯域幅の大幅なコストが伴う。本稿では,重み更新のデータ特徴を学習し,その後に圧縮を行う自動エンコーダ(AE)を用いて重み更新を圧縮する機構を提案する。トレーニングが行われる各ノードにエンコーダが設定され、デコーダが重みが集約されるノードに設定される。この設定はエンコーダによる圧縮を実現し、デコーダを使用して各通信ラウンドの終端の重みを再現する。提案手法は,500倍から1720倍までの圧縮率を達成できるだけでなく,その精度や計算能力,その他fl設定の要件にもとづく修正が可能であるため,大規模flにおいて,aeベースの動的・直交的な重み圧縮技術は有利な代替(またはアドオン)として機能することを示す。

関連論文リスト

Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning [29.727339562140653]
フェデレーション平均化(FedAvg)におけるスパシフィケーションなどの現在のデータ圧縮手法は、フェデレーション学習(FL)のコミュニケーション効率を効果的に向上させる。これらの手法は、異種帯域幅と非IIDデータによるストラグラー問題やモデル性能の低下といった課題に直面する。非IIDデータに関連する問題を軽減しつつ,通信効率の向上を目的としたFLのための帯域幅対応圧縮フレームワークを提案する。
論文参考訳（メタデータ） (2024-08-27T02:28:27Z)
Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文参考訳（メタデータ） (2024-02-06T07:25:21Z)
FedCode: Communication-Efficient Federated Learning via Transferring Codebooks [3.004066195320147]
Federated Learning(FL)は、分散機械学習パラダイムで、分散ローカルデータからモデルを学ぶことができる。既存のアプローチは、これに対処するためにプルーニングや重みクラスタリングのようなモデル圧縮技術に依存している。我々は、クライアントがコードブックのみを送信するFedCodeを提案する。
論文参考訳（メタデータ） (2023-11-15T12:06:32Z)
GraVAC: Adaptive Compression for Communication-Efficient Distributed DL Training [0.0]
分散データ並列(DDP)トレーニングは、複数のデバイスがデータのサブセットをトレーニングし、アップデートを集約してグローバルに共有するモデルを生成することにより、アプリケーション全体のスループットを向上させる。 GraVACは、モデル進捗を評価し、圧縮に関連する情報損失を評価することで、トレーニング全体を通して圧縮係数を動的に調整するフレームワークである。静的圧縮係数を使用するのとは対照的に、GraVACはResNet101、VGG16、LSTMのエンドツーエンドのトレーニング時間をそれぞれ4.32x、1.95x、6.67x削減する。
論文参考訳（メタデータ） (2023-05-20T14:25:17Z)
COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文参考訳（メタデータ） (2022-01-30T20:12:04Z)
Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文参考訳（メタデータ） (2021-12-18T02:26:38Z)
iFlow: Numerically Invertible Flows for Efficient Lossless Compression via a Uniform Coder [38.297114268193]
iFlowは効率的なロスレス圧縮を実現するための新しい方法である。 iFlowは最先端の圧縮比を達成し、他の高性能スキームよりも5倍速くなる。
論文参考訳（メタデータ） (2021-11-01T14:15:58Z)
Neural Distributed Source Coding [59.630059301226474]
相関構造に依存せず,高次元までスケール可能な損失DSCのためのフレームワークを提案する。提案手法は,複数のデータセット上で評価し,複雑な相関関係と最先端PSNRを扱えることを示す。
論文参考訳（メタデータ） (2021-06-05T04:50:43Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。