論文の概要: Communication-Efficient Federated Distillation with Active Data Sampling
- arxiv url: http://arxiv.org/abs/2203.06900v1
- Date: Mon, 14 Mar 2022 07:50:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 16:52:39.998496
- Title: Communication-Efficient Federated Distillation with Active Data Sampling
- Title(参考訳): アクティブデータサンプリングによるコミュニケーション効率の良いフェデレート蒸留
- Authors: Lumin Liu, Jun Zhang, S. H. Song, Khaled B. Letaief
- Abstract要約: フェデレートラーニング(FL)は、分散データからプライバシー保護の深層ラーニングを可能にする、有望なパラダイムである。
フェデレート蒸留(Federated Distillation, FD)は、通信効率とロバストなFLを実現するための代替案である。
本稿では、FDのための汎用メタアルゴリズムを提案し、実験により鍵パラメータの影響について検討する。
本稿では,アクティブデータサンプリングによる通信効率の高いFDアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 6.516631577963641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a promising paradigm to enable privacy-preserving
deep learning from distributed data. Most previous works are based on federated
average (FedAvg), which, however, faces several critical issues, including a
high communication overhead and the difficulty in dealing with heterogeneous
model architectures. Federated Distillation (FD) is a recently proposed
alternative to enable communication-efficient and robust FL, which achieves
orders of magnitude reduction of the communication overhead compared with
FedAvg and is flexible to handle heterogeneous models at the clients. However,
so far there is no unified algorithmic framework or theoretical analysis for
FD-based methods. In this paper, we first present a generic meta-algorithm for
FD and investigate the influence of key parameters through empirical
experiments. Then, we verify the empirical observations theoretically. Based on
the empirical results and theory, we propose a communication-efficient FD
algorithm with active data sampling to improve the model performance and reduce
the communication overhead. Empirical simulations on benchmark datasets will
demonstrate that our proposed algorithm effectively and significantly reduces
the communication overhead while achieving a satisfactory performance.
- Abstract(参考訳): フェデレートラーニング(FL)は、分散データからプライバシー保護の深層ラーニングを可能にする、有望なパラダイムである。
以前のほとんどの作品はフェデレーション平均(federated average, fedavg)に基づいているが、通信オーバーヘッドの増大や異種モデルアーキテクチャの扱いの難しさなど、いくつかの重大な問題に直面している。
federated distillation (fd) は、fedavgに比べて通信オーバーヘッドの桁違いな削減を実現し、クライアントでの異種モデルの処理に柔軟である通信効率と堅牢性を実現するために最近提案された代替案である。
しかし、fdに基づく手法の統一的なアルゴリズムフレームワークや理論的解析は存在しない。
本稿では,まずfdのための汎用メタアゴリタムを提案し,実験を通してキーパラメータの影響について検討する。
そして,経験的観察を理論的に検証する。
実験結果と理論に基づいて,アクティブデータサンプリングによる通信効率の高いFDアルゴリズムを提案し,モデル性能の向上と通信オーバヘッドの低減を図る。
ベンチマークデータセット上での実証シミュレーションにより,提案アルゴリズムは,良好な性能を達成しつつ,通信オーバーヘッドを大幅に低減することを示す。
関連論文リスト
- FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Communication-Efficient Heterogeneous Federated Learning with
Generalized Heavy-Ball Momentum [10.345853941184178]
最先端のアプローチは、通信コストの増加で収束を保証するか、あるいは極端に異質な局所分布を扱うのに十分な堅牢性を持っていないかのどちらかである。
本稿では,重球運動量の新たな一般化を提案し,通信オーバーヘッドを伴わずにFLの統計的不均一性を効果的に解くためのFedHBMを提案する。
我々は、一般的なFLビジョンとNLPデータセットに対して広範な実験を行い、FedHBMアルゴリズムは、特に病的非イドシナリオにおいて、より優れたモデル品質とより高い収束速度を経験的に得ることを示した。
論文 参考訳(メタデータ) (2023-11-30T14:17:57Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳(メタデータ) (2023-10-16T05:49:28Z) - FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal
Heterogeneous Federated Learning [37.96957782129352]
我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。
Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。
その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-08-21T21:57:01Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - Communication-Efficient Federated Learning with Compensated
Overlap-FedAvg [22.636184975591004]
フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。
Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。
オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
論文 参考訳(メタデータ) (2020-12-12T02:50:09Z) - Communication-Efficient Federated Distillation [14.10627556244287]
コミュニケーションの制約は、フェデレートラーニングシステムが広く採用されるのを防ぐ大きな課題の1つです。
近年、フェデレート学習のための新しいアルゴリズムパラダイムであるフェデレート蒸留(FD)が出現している。
FD法は、未ラベルの公開データセット上でソフトラベルとして提示されるアンサンブル蒸留技術と交換モデル出力を利用する。
論文 参考訳(メタデータ) (2020-12-01T16:57:25Z) - Improving Federated Relational Data Modeling via Basis Alignment and
Weight Penalty [18.096788806121754]
近年,フェデレートラーニング(FL)が注目されている。
知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。
我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。
実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
論文 参考訳(メタデータ) (2020-11-23T12:52:18Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳(メタデータ) (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。