Fugu-MT 論文翻訳(概要): Communication-Efficient Federated Distillation

論文の概要: Communication-Efficient Federated Distillation

arxiv url: http://arxiv.org/abs/2012.00632v1
Date: Tue, 1 Dec 2020 16:57:25 GMT
ステータス: 処理完了
システム内更新日: 2021-05-31 02:28:49.796324
Title: Communication-Efficient Federated Distillation
Title（参考訳）: 通信効率の高い連系蒸留
Authors: Felix Sattler and Arturo Marban and Roman Rischke and Wojciech Samek
Abstract要約: コミュニケーションの制約は、フェデレートラーニングシステムが広く採用されるのを防ぐ大きな課題の1つです。近年、フェデレート学習のための新しいアルゴリズムパラダイムであるフェデレート蒸留(FD)が出現している。 FD法は、未ラベルの公開データセット上でソフトラベルとして提示されるアンサンブル蒸留技術と交換モデル出力を利用する。
参考スコア（独自算出の注目度）: 14.10627556244287
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Communication constraints are one of the major challenges preventing the wide-spread adoption of Federated Learning systems. Recently, Federated Distillation (FD), a new algorithmic paradigm for Federated Learning with fundamentally different communication properties, emerged. FD methods leverage ensemble distillation techniques and exchange model outputs, presented as soft labels on an unlabeled public data set, between the central server and the participating clients. While for conventional Federated Learning algorithms, like Federated Averaging (FA), communication scales with the size of the jointly trained model, in FD communication scales with the distillation data set size, resulting in advantageous communication properties, especially when large models are trained. In this work, we investigate FD from the perspective of communication efficiency by analyzing the effects of active distillation-data curation, soft-label quantization and delta-coding techniques. Based on the insights gathered from this analysis, we present Compressed Federated Distillation (CFD), an efficient Federated Distillation method. Extensive experiments on Federated image classification and language modeling problems demonstrate that our method can reduce the amount of communication necessary to achieve fixed performance targets by more than two orders of magnitude, when compared to FD and by more than four orders of magnitude when compared with FA.
Abstract（参考訳）: コミュニケーションの制約は、連合学習システムの普及を妨げる大きな課題の1つである。近年,コミュニケーション特性が根本的に異なるフェデレーション学習のための新しいアルゴリズムパラダイムであるフェデレーション蒸留(fd)が出現した。 FD法は、中央サーバと参加クライアントの間の未ラベルの公開データセットにソフトラベルとして提示されるアンサンブル蒸留技術と交換モデル出力を利用する。フェデレーション平均化(FA)のような従来のフェデレーション学習アルゴリズムでは、共同で訓練されたモデルのサイズの通信スケールは、蒸留データセットのサイズのFD通信スケールに比例し、特に大規模なモデルが訓練された場合、有利な通信特性をもたらす。本研究では, アクティブ蒸留データキュレーション, ソフトラベル量子化, デルタ符号化技術の効果を分析し, 通信効率の観点からFDについて検討する。この分析から得られた知見に基づき,効率的な連系蒸留法である圧縮連系蒸留(cfd)を提案する。フェデレーション画像分類と言語モデル問題に関する大規模な実験により,FDと比較して2桁以上,FAと比較して4桁以上,固定性能目標達成に必要な通信量を2桁以上削減できることが実証された。

関連論文リスト

FedFT: Improving Communication Performance for Federated Learning with Frequency Space Transformation [0.361593752383807]
フェデレート学習環境におけるモデルパラメータを伝達するための簡易かつ効果的な手法であるFedFT(Federated frequency-space transformation)を導入する。 FedFTは離散コサイン変換(DCT)を用いて周波数空間のモデルパラメータを表現し、効率的な圧縮と通信オーバーヘッドの低減を実現している。我々は,3つの最先端FLベースラインとの比較研究を用いて,FedFT手法の4つのデータセット上での汎用性を実証した。
論文参考訳（メタデータ） (2024-09-08T23:05:35Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Federated Distillation: A Survey [73.08661634882195]
Federated Learning (FL)は、個々のクライアントからプライベートトレーニングデータを共有せずに、モデルを協調的にトレーニングすることを目指している。 FLへの知識蒸留の統合が提案され、Federated Distillation(FD)と呼ばれるものを形成する。 FDはクライアントとサーバ間のより柔軟な知識伝達を可能にし、単なるモデルパラメータの共有を超越します。
論文参考訳（メタデータ） (2024-04-02T03:42:18Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
論文参考訳（メタデータ） (2023-08-21T21:57:01Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
Communication-Efficient Federated Distillation with Active Data Sampling [6.516631577963641]
フェデレートラーニング(FL)は、分散データからプライバシー保護の深層ラーニングを可能にする、有望なパラダイムである。フェデレート蒸留(Federated Distillation, FD)は、通信効率とロバストなFLを実現するための代替案である。本稿では、FDのための汎用メタアルゴリズムを提案し、実験により鍵パラメータの影響について検討する。本稿では,アクティブデータサンプリングによる通信効率の高いFDアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-14T07:50:55Z)
CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文参考訳（メタデータ） (2020-12-15T12:20:28Z)
Communication-Efficient Federated Learning with Compensated Overlap-FedAvg [22.636184975591004]
フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。 Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
論文参考訳（メタデータ） (2020-12-12T02:50:09Z)
Federated Knowledge Distillation [42.87991207898215]
フェデレート蒸留(Federated distillation, FD)は、一般的にモデルサイズよりも小さい次元のモデル出力のみを交換する分散学習ソリューションである。この章は、コミュニケーション効率とさまざまなタスクへの適用性を実証しながら、FDの深い理解を提供する。第2部では、分類タスクに対するFDのベースライン実装について詳述し、FLと比較して精度と通信効率の点でその性能を説明している。第3部では、非対称なアップリンク・アンド・ダウンリンク無線チャネル上のFDと、強化学習のためのFDという2つの選択されたアプリケーションを提示している。
論文参考訳（メタデータ） (2020-11-04T15:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。