Fugu-MT 論文翻訳(概要): Optimal Rate Adaption in Federated Learning with Compressed Communications

論文の概要: Optimal Rate Adaption in Federated Learning with Compressed Communications

arxiv url: http://arxiv.org/abs/2112.06694v1
Date: Mon, 13 Dec 2021 14:26:15 GMT
ステータス: 処理完了
システム内更新日: 2021-12-14 19:29:56.274820
Title: Optimal Rate Adaption in Federated Learning with Compressed Communications
Title（参考訳）: 圧縮通信を用いた連合学習における最適レート適応
Authors: Laizhong Cui, Xiaoxin Su, Yipeng Zhou, Jiangchuan Liu
Abstract要約: フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。ネットワーク環境における圧縮とモデルの精度のトレードオフは未だ不明です各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
参考スコア（独自算出の注目度）: 28.16239232265479
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) incurs high communication overhead, which can be greatly alleviated by compression for model updates. Yet the tradeoff between compression and model accuracy in the networked environment remains unclear and, for simplicity, most implementations adopt a fixed compression rate only. In this paper, we for the first time systematically examine this tradeoff, identifying the influence of the compression error on the final model accuracy with respect to the learning rate. Specifically, we factor the compression error of each global iteration into the convergence rate analysis under both strongly convex and non-convex loss functions. We then present an adaptation framework to maximize the final model accuracy by strategically adjusting the compression rate in each iteration. We have discussed the key implementation issues of our framework in practical networks with representative compression algorithms. Experiments over the popular MNIST and CIFAR-10 datasets confirm that our solution effectively reduces network traffic yet maintains high model accuracy in FL.
Abstract（参考訳）: フェデレートラーニング(FL)は高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。しかし、ネットワーク環境における圧縮とモデルの精度のトレードオフはいまだ不明であり、ほとんどの実装では固定圧縮率のみを採用している。本稿では,このトレードオフを初めて体系的に検証し,最終的なモデル精度に対する圧縮誤差の影響を学習率に対して同定する。具体的には、各グローバルイテレーションの圧縮誤差を、強凸損失関数と非凸損失関数の両方の下での収束率解析に分解する。次に,各イテレーションの圧縮率を戦略的に調整することにより,最終モデルの精度を最大化する適応フレームワークを提案する。我々は,本フレームワークの汎用ネットワークにおける重要な実装課題を代表的圧縮アルゴリズムを用いて議論した。一般的なMNISTおよびCIFAR-10データセットに対する実験により、我々のソリューションはネットワークトラフィックを効果的に削減するが、FLでは高いモデル精度を維持する。

関連論文リスト

Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning [29.727339562140653]
フェデレーション平均化(FedAvg)におけるスパシフィケーションなどの現在のデータ圧縮手法は、フェデレーション学習(FL)のコミュニケーション効率を効果的に向上させる。これらの手法は、異種帯域幅と非IIDデータによるストラグラー問題やモデル性能の低下といった課題に直面する。非IIDデータに関連する問題を軽減しつつ,通信効率の向上を目的としたFLのための帯域幅対応圧縮フレームワークを提案する。
論文参考訳（メタデータ） (2024-08-27T02:28:27Z)
Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
論文参考訳（メタデータ） (2024-02-19T05:59:09Z)
Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文参考訳（メタデータ） (2024-02-06T07:25:21Z)
Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文参考訳（メタデータ） (2023-04-13T10:52:49Z)
L-GreCo: Layerwise-Adaptive Gradient Compression for Efficient and Accurate Deep Learning [24.712888488317816]
トレーニング中にモデルの層をまたいだ圧縮の度合いを動的に適用するためのフレームワークを提供する。我々のフレームワークはL-GreCoと呼ばれ、モデル層に対する最適圧縮パラメータを自動的に選択する適応アルゴリズムに基づいている。
論文参考訳（メタデータ） (2022-10-31T14:37:41Z)
Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory [1.5771347525430772]
連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
論文参考訳（メタデータ） (2022-01-07T20:17:33Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
Neural Network Compression Via Sparse Optimization [23.184290795230897]
スパース最適化の最近の進歩に基づくモデル圧縮フレームワークを提案する。我々は、CIFAR10のVGG16とImageNetのResNet50で、同じレベルの精度で、最大7.2倍と2.9倍のFLOPを削減できる。
論文参考訳（メタデータ） (2020-11-10T03:03:55Z)
Accordion: Adaptive Gradient Communication via Critical Learning Regime Identification [12.517161466778655]
分散モデルトレーニングは、計算ノードにまたがる頻繁なモデル更新による通信ボトルネックに悩まされる。これらのボトルネックを軽減するために、実践者はスパーシフィケーションや量子化、低ランク更新といった勾配圧縮技術を使用する。本研究では,高圧縮比の選択による性能劣化が基本的でないことを示す。適応圧縮戦略は、最終テスト精度を維持しながら通信を低減することができる。
論文参考訳（メタデータ） (2020-10-29T16:41:44Z)
Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文参考訳（メタデータ） (2020-02-19T12:03:10Z)
End-to-End Facial Deep Learning Feature Compression with Teacher-Student Enhancement [57.18801093608717]
本稿では,ディープニューラルネットワークの表現と学習能力を活用することで,エンドツーエンドの特徴圧縮手法を提案する。特に、抽出した特徴量を、レート歪みコストを最適化することにより、エンドツーエンドでコンパクトに符号化する。提案モデルの有効性を顔の特徴で検証し, 圧縮性能を高いレート精度で評価した。
論文参考訳（メタデータ） (2020-02-10T10:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。