論文の概要: FedBIAD: Communication-Efficient and Accuracy-Guaranteed Federated
Learning with Bayesian Inference-Based Adaptive Dropout
- arxiv url: http://arxiv.org/abs/2307.07172v1
- Date: Fri, 14 Jul 2023 05:51:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 14:53:02.734286
- Title: FedBIAD: Communication-Efficient and Accuracy-Guaranteed Federated
Learning with Bayesian Inference-Based Adaptive Dropout
- Title（参考訳）: FedBIAD:ベイズ推論に基づく適応型ドロップアウトによるコミュニケーション効率と正確性を考慮したフェデレーション学習
- Authors: Jingjing Xue and Min Liu and Sheng Sun and Yuwei Wang and Hui Jiang
and Xuefeng Jiang
- Abstract要約: フェデレートラーニング(FL)は、エンドユーザーデータ伝送なしで分散機械学習パラダイムとして現れる。
FedBIADは、非独立およびIdentically Distributed(非IID)データであっても、最大2.41%の精度で2倍のアップリンク削減を提供する。
- 参考スコア（独自算出の注目度）: 14.72932631655587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) emerges as a distributed machine learning paradigm
without end-user data transmission, effectively avoiding privacy leakage.
Participating devices in FL are usually bandwidth-constrained, and the uplink
is much slower than the downlink in wireless networks, which causes a severe
uplink communication bottleneck. A prominent direction to alleviate this
problem is federated dropout, which drops fractional weights of local models.
However, existing federated dropout studies focus on random or ordered dropout
and lack theoretical support, resulting in unguaranteed performance. In this
paper, we propose Federated learning with Bayesian Inference-based Adaptive
Dropout (FedBIAD), which regards weight rows of local models as probability
distributions and adaptively drops partial weight rows based on importance
indicators correlated with the trend of local training loss. By applying
FedBIAD, each client adaptively selects a high-quality dropping pattern with
accurate approximations and only transmits parameters of non-dropped weight
rows to mitigate uplink costs while improving accuracy. Theoretical analysis
demonstrates that the convergence rate of the average generalization error of
FedBIAD is minimax optimal up to a squared logarithmic factor. Extensive
experiments on image classification and next-word prediction show that compared
with status quo approaches, FedBIAD provides 2x uplink reduction with an
accuracy increase of up to 2.41% even on non-Independent and Identically
Distributed (non-IID) data, which brings up to 72% decrease in training time.
- Abstract（参考訳）: federated learning(fl)は、エンドユーザのデータ送信を伴わない分散機械学習パラダイムとして登場し、プライバシリークを効果的に回避する。
FLの参加デバイスは通常帯域幅が制限されており、アップリンクは無線ネットワークのダウンリンクよりもはるかに遅いため、アップリンク通信のボトルネックが深刻になる。
この問題を緩和するための顕著な方向は、局所モデルの分数重みを落とすフェデレーション・ドロップアウトである。
しかし、既存のフェデレーテッド・ドロップアウトの研究は、ランダムまたは順序づけられたドロップアウトに焦点を合わせ、理論的なサポートを欠いているため、あいまいなパフォーマンスをもたらす。
本稿では,局所モデルの重み行を確率分布とみなし,局所的なトレーニング損失傾向に相関した重要指標に基づいて部分的な重み行を適応的にドロップする,ベイズ推論に基づく適応型学習(FedBIAD)を提案する。
FedBIADを適用することで、各クライアントは正確な近似で高品質なドロップパターンを適応的に選択し、非ドロップ重み列のパラメータのみを送信し、アップリンクコストを低減し、精度を向上させる。
理論的解析により、FedBIADの平均一般化誤差の収束率は2乗対数係数まで極小であることが示された。
画像分類と次の単語予測に関する大規模な実験により、FedBIADはステータスクオアプローチと比較して、非独立およびIdentically Distributed(非IID)データでも最大2.41%の精度で2倍のアップリンク削減を実現し、トレーニング時間を最大72%削減することを示した。
関連論文リスト
- Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [65.85963235502322]
Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。
我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。
我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
論文 参考訳（メタデータ） (2024-05-28T07:56:49Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Chasing Fairness Under Distribution Shift: A Model Weight Perturbation
Approach [72.19525160912943]
まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。
次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。
これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
論文 参考訳（メタデータ） (2023-03-06T17:19:23Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z) - FedPrune: Towards Inclusive Federated Learning [1.308951527147782]
フェデレートラーニング(Federated Learning, FL)は、分散データの共有モデルをプライバシ保護形式でトレーニングする分散学習技術である。
我々は,この課題に対処するシステムであるFedPruneを提案する。
Central Limit Theoremからの洞察を利用することで、FedPruneは非IIDデータよりも堅牢なパフォーマンスを実現する新しい集約テクニックを取り入れている。
論文 参考訳（メタデータ） (2021-10-27T06:33:38Z) - Achieving Statistical Optimality of Federated Learning: Beyond
Stationary Points [19.891597817559038]
Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。
最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。
一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:59:43Z) - FedBN: Federated Learning on Non-IID Features via Local Batch
Normalization [23.519212374186232]
フェデレーション学習(fl)の新たなパラダイムは、生データを集中的に集約することなく、ネットワークエッジにおける深層モデルの協調的なトレーニングを可能にすることを目指している。
モデルの平均化に先立って,局所的バッチ正規化を用いて特徴シフトを緩和する有効な手法を提案する。
FedBNと呼ばれるこの方式は、古典的なFedAvgと、非IDデータの最先端の両方を上回っている。
論文 参考訳（メタデータ） (2021-02-15T16:04:10Z) - Fairness and Accuracy in Federated Learning [17.218814060589956]
本稿では,federated learning (fedfa) における公平性と正確性を高めるアルゴリズムを提案する。
二重運動量勾配を採用する最適化スキームを導入し、それによってモデルの収束速度を加速する。
トレーニング精度とトレーニング頻度の情報量を組み合わせてウェイトを測定するための適切なウェイト選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-18T06:28:37Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。