論文の概要: Ternary Compression for Communication-Efficient Federated Learning
- arxiv url: http://arxiv.org/abs/2003.03564v2
- Date: Tue, 29 Mar 2022 08:50:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-25 19:31:12.663004
- Title: Ternary Compression for Communication-Efficient Federated Learning
- Title（参考訳）: コミュニケーション効率のよい連合学習のための3次圧縮
- Authors: Jinjin Xu, Wenli Du, Ran Cheng, Wangli He, Yaochu Jin
- Abstract要約: フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
- 参考スコア（独自算出の注目度）: 17.97683428517896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning over massive data stored in different locations is essential in many
real-world applications. However, sharing data is full of challenges due to the
increasing demands of privacy and security with the growing use of smart mobile
devices and IoT devices. Federated learning provides a potential solution to
privacy-preserving and secure machine learning, by means of jointly training a
global model without uploading data distributed on multiple devices to a
central server. However, most existing work on federated learning adopts
machine learning models with full-precision weights, and almost all these
models contain a large number of redundant parameters that do not need to be
transmitted to the server, consuming an excessive amount of communication
costs. To address this issue, we propose a federated trained ternary
quantization (FTTQ) algorithm, which optimizes the quantized networks on the
clients through a self-learning quantization factor. Theoretical proofs of the
convergence of quantization factors, unbiasedness of FTTQ, as well as a reduced
weight divergence are given. On the basis of FTTQ, we propose a ternary
federated averaging protocol (T-FedAvg) to reduce the upstream and downstream
communication of federated learning systems. Empirical experiments are
conducted to train widely used deep learning models on publicly available
datasets, and our results demonstrate that the proposed T-FedAvg is effective
in reducing communication costs and can even achieve slightly better
performance on non-IID data in contrast to the canonical federated learning
algorithms.
- Abstract（参考訳）: 異なる場所に格納された大量のデータを学習することは、多くの現実世界のアプリケーションにおいて不可欠である。
しかし、データ共有は、スマートモバイルデバイスやIoTデバイスの利用の増加に伴うプライバシーとセキュリティの要求の増加による課題に満ちている。
フェデレーション学習は、複数のデバイスに分散したデータを中央サーバにアップロードすることなく、グローバルモデルを共同でトレーニングすることで、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
しかし、フェデレーション学習に関する既存の作業の多くは、全精度重み付き機械学習モデルを採用しており、これらのモデルのほとんどは、サーバーに送信する必要のない多くの冗長パラメータを含み、通信コストを過大に消費している。
この問題に対処するために,自己学習量化係数を用いてクライアント上の量子化ネットワークを最適化する,federated training ternary quantization (fttq)アルゴリズムを提案する。
量子化係数の収束、fttqの不偏性、および重量のばらつきに関する理論的証明が与えられる。
FTTQに基づいて,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,標準的フェデレーション学習アルゴリズムとは対照的に,非IIDデータの性能をわずかに向上させることができることがわかった。
関連論文リスト
- FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System [2.040586739710704]
IoT(Industrial Internet of Things)では、大量のデータが毎日生成される。
プライバシーとセキュリティの問題により、これらのデータをまとめてディープラーニングモデルをトレーニングすることは困難である。
本稿では,集中型フェデレーション学習と分散型フェデレーション学習を組み合わせて,半分散型クラウドエッジデバイス階層型フェデレーション学習フレームワークを設計する。
論文 参考訳（メタデータ） (2024-03-19T09:34:01Z) - Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文 参考訳（メタデータ） (2024-01-25T14:49:15Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - Communication-Efficient Hierarchical Federated Learning for IoT
Heterogeneous Systems with Imbalanced Data [42.26599494940002]
フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。
本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。
複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
論文 参考訳（メタデータ） (2021-07-14T08:32:39Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z) - Federated Learning with Cooperating Devices: A Consensus Approach for
Massive IoT Networks [8.456633924613456]
分散システムにおける機械学習モデルをトレーニングするための新しいパラダイムとして、フェデレートラーニング(FL)が登場している。
提案するFLアルゴリズムは,ネットワーク内のデータ操作を行うデバイスとの協調を利用して,完全に分散された(あるいはサーバレス)学習手法を提案する。
このアプローチは、分散接続とコンピューティングを特徴とするネットワークを超えて、5G 内で FL を統合するための基盤となる。
論文 参考訳（メタデータ） (2019-12-27T15:16:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。