Fugu-MT 論文翻訳(概要): Improving Communication Efficiency of Federated Distillation via Accumulating Local Updates

論文の概要: Improving Communication Efficiency of Federated Distillation via Accumulating Local Updates

arxiv url: http://arxiv.org/abs/2312.04166v1
Date: Thu, 7 Dec 2023 09:36:18 GMT
ステータス: 処理完了
システム内更新日: 2023-12-08 15:29:35.136565
Title: Improving Communication Efficiency of Federated Distillation via Accumulating Local Updates
Title（参考訳）: 局部更新の蓄積によるフェデレート蒸留の通信効率の向上
Authors: Zhiyuan Wu, Sheng Sun, Yuwei Wang, Min Liu, Tian Wen, Wen Wang
Abstract要約: 本稿では,知識を中央サーバに転送する前に複数のローカル更新を蓄積する新しい手法であるALUを提案する。 ALUは, フェデレート蒸留における通信頻度を劇的に低減し, 訓練過程における通信オーバーヘッドを著しく低減する。
参考スコア（独自算出の注目度）: 12.206606436148384
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As an emerging federated learning paradigm, federated distillation enables communication-efficient model training by transmitting only small-scale knowledge during the learning process. To further improve the communication efficiency of federated distillation, we propose a novel technique, ALU, which accumulates multiple rounds of local updates before transferring the knowledge to the central server. ALU drastically decreases the frequency of communication in federated distillation, thereby significantly reducing the communication overhead during the training process. Empirical experiments demonstrate the substantial effect of ALU in improving the communication efficiency of federated distillation.
Abstract（参考訳）: 連合学習パラダイムとして、連合蒸留は学習プロセス中に小規模の知識のみを伝達することで、コミュニケーション効率の高いモデルトレーニングを可能にする。さらに, 連系蒸留の通信効率を向上させるために, 知識を中央サーバに移す前に, 複数ラウンドの局所更新を蓄積する新しい手法である alu を提案する。 ALUは, フェデレート蒸留における通信頻度を劇的に低減し, 訓練過程における通信オーバーヘッドを著しく低減する。実験実験により, ALUのフェデレート蒸留の通信効率向上効果が実証された。

関連論文リスト

Exploring the Practicality of Federated Learning: A Survey Towards the Communication Perspective [1.088537320059347]
Federated Learning(FL)は、プライバシ保護、分散機械学習の大幅な進歩を提供する、有望なパラダイムである。しかし、FLシステムの実践的な展開は、通信オーバーヘッドという大きなボトルネックに直面している。本研究は,通信効率FLにおける様々な戦略と進歩について検討する。
論文参考訳（メタデータ） (2024-05-30T19:21:33Z)
FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
論文参考訳（メタデータ） (2024-03-14T22:29:59Z)
Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文参考訳（メタデータ） (2023-02-19T17:42:35Z)
Resource Allocation for Compression-aided Federated Learning with High Distortion Rate [3.7530276852356645]
我々は、歪み率、参加IoTデバイス数、収束率の間の最適化支援FL問題を定式化する。参加するIoTデバイスを積極的に制御することにより、通信効率を維持しながら圧縮支援FLのトレーニングばらつきを回避することができる。
論文参考訳（メタデータ） (2022-06-02T05:00:37Z)
Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。無線システム上での高速応答および高精度FLスキームの検証が重要である。提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文参考訳（メタデータ） (2021-10-22T13:25:57Z)
FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2021-08-30T15:39:54Z)
Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression [8.353152693578151]
Federated Learning(FL)は、クライアントの生データを共有せずにディープラーニングモデルをトレーニングするための有望で強力なアプローチです。両サイドローランク圧縮(FedDLR)を用いたフェデレーションラーニングと呼ばれる新しいトレーニング手法を提案する。我々は,FedDLRがコミュニケーションと効率の両面で最先端のソリューションより優れていることを示す。
論文参考訳（メタデータ） (2021-04-26T09:13:31Z)
CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文参考訳（メタデータ） (2020-12-15T12:20:28Z)
Communication-Efficient Federated Distillation [14.10627556244287]
コミュニケーションの制約は、フェデレートラーニングシステムが広く採用されるのを防ぐ大きな課題の1つです。近年、フェデレート学習のための新しいアルゴリズムパラダイムであるフェデレート蒸留(FD)が出現している。 FD法は、未ラベルの公開データセット上でソフトラベルとして提示されるアンサンブル蒸留技術と交換モデル出力を利用する。
論文参考訳（メタデータ） (2020-12-01T16:57:25Z)
Transfer Heterogeneous Knowledge Among Peer-to-Peer Teammates: A Model Distillation Approach [55.83558520598304]
本研究は, モデル蒸留により, 複数の学生間で経験と伝達値関数を再利用する新しい手法を提案する。また、異種知識を活用するための効率的な通信プロトコルの設計方法について述べる。提案するフレームワークである学習・指導カテゴリー強化は,学習の進捗を安定化・加速する上で有望な性能を示す。
論文参考訳（メタデータ） (2020-02-06T11:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。