論文の概要: Communication-Efficient Federated Distillation with Active Data Sampling
- arxiv url: http://arxiv.org/abs/2203.06900v1
- Date: Mon, 14 Mar 2022 07:50:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 16:52:39.998496
- Title: Communication-Efficient Federated Distillation with Active Data Sampling
- Title(参考訳): アクティブデータサンプリングによるコミュニケーション効率の良いフェデレート蒸留
- Authors: Lumin Liu, Jun Zhang, S. H. Song, Khaled B. Letaief
- Abstract要約: フェデレートラーニング(FL)は、分散データからプライバシー保護の深層ラーニングを可能にする、有望なパラダイムである。
フェデレート蒸留(Federated Distillation, FD)は、通信効率とロバストなFLを実現するための代替案である。
本稿では、FDのための汎用メタアルゴリズムを提案し、実験により鍵パラメータの影響について検討する。
本稿では,アクティブデータサンプリングによる通信効率の高いFDアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 6.516631577963641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a promising paradigm to enable privacy-preserving
deep learning from distributed data. Most previous works are based on federated
average (FedAvg), which, however, faces several critical issues, including a
high communication overhead and the difficulty in dealing with heterogeneous
model architectures. Federated Distillation (FD) is a recently proposed
alternative to enable communication-efficient and robust FL, which achieves
orders of magnitude reduction of the communication overhead compared with
FedAvg and is flexible to handle heterogeneous models at the clients. However,
so far there is no unified algorithmic framework or theoretical analysis for
FD-based methods. In this paper, we first present a generic meta-algorithm for
FD and investigate the influence of key parameters through empirical
experiments. Then, we verify the empirical observations theoretically. Based on
the empirical results and theory, we propose a communication-efficient FD
algorithm with active data sampling to improve the model performance and reduce
the communication overhead. Empirical simulations on benchmark datasets will
demonstrate that our proposed algorithm effectively and significantly reduces
the communication overhead while achieving a satisfactory performance.
- Abstract(参考訳): フェデレートラーニング(FL)は、分散データからプライバシー保護の深層ラーニングを可能にする、有望なパラダイムである。
以前のほとんどの作品はフェデレーション平均(federated average, fedavg)に基づいているが、通信オーバーヘッドの増大や異種モデルアーキテクチャの扱いの難しさなど、いくつかの重大な問題に直面している。
federated distillation (fd) は、fedavgに比べて通信オーバーヘッドの桁違いな削減を実現し、クライアントでの異種モデルの処理に柔軟である通信効率と堅牢性を実現するために最近提案された代替案である。
しかし、fdに基づく手法の統一的なアルゴリズムフレームワークや理論的解析は存在しない。
本稿では,まずfdのための汎用メタアゴリタムを提案し,実験を通してキーパラメータの影響について検討する。
そして,経験的観察を理論的に検証する。
実験結果と理論に基づいて,アクティブデータサンプリングによる通信効率の高いFDアルゴリズムを提案し,モデル性能の向上と通信オーバヘッドの低減を図る。
ベンチマークデータセット上での実証シミュレーションにより,提案アルゴリズムは,良好な性能を達成しつつ,通信オーバーヘッドを大幅に低減することを示す。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳(メタデータ) (2024-10-09T06:17:16Z) - FedFT: Improving Communication Performance for Federated Learning with Frequency Space Transformation [0.361593752383807]
フェデレート学習環境におけるモデルパラメータを伝達するための簡易かつ効果的な手法であるFedFT(Federated frequency-space transformation)を導入する。
FedFTは離散コサイン変換(DCT)を用いて周波数空間のモデルパラメータを表現し、効率的な圧縮と通信オーバーヘッドの低減を実現している。
我々は,3つの最先端FLベースラインとの比較研究を用いて,FedFT手法の4つのデータセット上での汎用性を実証した。
論文 参考訳(メタデータ) (2024-09-08T23:05:35Z) - DynamicFL: Federated Learning with Dynamic Communication Resource Allocation [34.97472382870816]
Federated Learning(FL)は、複数のユーザがローカルデータを使ってモデルを分散的にトレーニングできる、協調的な機械学習フレームワークである。
我々は,グローバルモデルの性能と通信コストのトレードオフを調査する新しいFLフレームワークであるDynamicFLを紹介する。
モデル精度は最大10%向上し,DynamicFLは最先端の手法を超越していることを示す。
論文 参考訳(メタデータ) (2024-09-08T05:53:32Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳(メタデータ) (2023-10-16T05:49:28Z) - FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal
Heterogeneous Federated Learning [37.96957782129352]
我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。
Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。
その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-08-21T21:57:01Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - Communication-Efficient Federated Learning with Compensated
Overlap-FedAvg [22.636184975591004]
フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。
Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。
オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
論文 参考訳(メタデータ) (2020-12-12T02:50:09Z) - Communication-Efficient Federated Distillation [14.10627556244287]
コミュニケーションの制約は、フェデレートラーニングシステムが広く採用されるのを防ぐ大きな課題の1つです。
近年、フェデレート学習のための新しいアルゴリズムパラダイムであるフェデレート蒸留(FD)が出現している。
FD法は、未ラベルの公開データセット上でソフトラベルとして提示されるアンサンブル蒸留技術と交換モデル出力を利用する。
論文 参考訳(メタデータ) (2020-12-01T16:57:25Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳(メタデータ) (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。