論文の概要: Lessons from Generalization Error Analysis of Federated Learning: You May Communicate Less Often!
- arxiv url: http://arxiv.org/abs/2306.05862v2
- Date: Mon, 10 Jun 2024 15:52:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 05:38:48.702063
- Title: Lessons from Generalization Error Analysis of Federated Learning: You May Communicate Less Often!
- Title（参考訳）: フェデレーション学習の一般化エラー分析から学んだこと
- Authors: Milad Sefidgaran, Romain Chor, Abdellatif Zaidi, Yijun Wan,
- Abstract要約: 一般化誤差の進化を、K$クライアントとパラメータサーバ間の通信ラウンド数$R$で調べる。
PAC-Bayes and rate-distortiontheoretic bounds on the generalization error that account on the effect of the numbers $R$。
FSVMの一般化限界は$R$で増加し、PSとのより頻繁な通信が一般化力を低下させることを示す。
- 参考スコア（独自算出の注目度）: 15.730667464815548
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the generalization error of statistical learning models in a Federated Learning (FL) setting. Specifically, we study the evolution of the generalization error with the number of communication rounds $R$ between $K$ clients and a parameter server (PS), i.e., the effect on the generalization error of how often the clients' local models are aggregated at PS. In our setup, the more the clients communicate with PS the less data they use for local training in each round, such that the amount of training data per client is identical for distinct values of $R$. We establish PAC-Bayes and rate-distortion theoretic bounds on the generalization error that account explicitly for the effect of the number of rounds $R$, in addition to the number of participating devices $K$ and individual datasets size $n$. The bounds, which apply to a large class of loss functions and learning algorithms, appear to be the first of their kind for the FL setting. Furthermore, we apply our bounds to FL-type Support Vector Machines (FSVM); and derive (more) explicit bounds in this case. In particular, we show that the generalization bound of FSVM increases with $R$, suggesting that more frequent communication with PS diminishes the generalization power. This implies that the population risk decreases less fast with $R$ than does the empirical risk. Moreover, our bound suggests that the generalization error of FSVM decreases faster than that of centralized learning by a factor of $\mathcal{O}(\sqrt{\log(K)/K})$. Finally, we provide experimental results obtained using neural networks (ResNet-56) which show evidence that not only may our observations for FSVM hold more generally but also that the population risk may even start to increase beyond some value of $R$.
- Abstract（参考訳）: フェデレートラーニング(FL)における統計的学習モデルの一般化誤差について検討する。
具体的には、一般化誤差の進化と、$K$クライアントとパラメータサーバ(PS)間の通信ラウンド数$R$、すなわち、クライアントのローカルモデルがPSでどれだけ頻繁に集約されるかの一般化エラーへの影響について検討する。
私たちの設定では、クライアントがPSと通信するほど、各ラウンドでローカルトレーニングに使用するデータが少なくなります。
我々は、PAC-Bayesとレート歪み理論境界を一般化誤差に設定し、ラウンド数が$R$であることに加えて、参加デバイス数$K$と個々のデータセットサイズ$n$を明示的に考慮する。
この境界は、多くの損失関数と学習アルゴリズムに適用されるが、FL設定において、その種類の最初のものと思われる。
さらに、この境界をFL型サポートベクトルマシン(FSVM)に適用し、この場合の(より)明示的な境界を導出する。
特に、FSVMの一般化境界は$R$で増加し、PSとのより頻繁な通信が一般化パワーを低下させることを示す。
これは、人口リスクは経験的リスクよりもR$よりも速く減少することを意味する。
さらに,FSVM の一般化誤差は $\mathcal{O}(\sqrt{\log(K)/K})$ の係数で集中学習の誤差よりも早く減少することを示す。
最後に、ニューラルネットワーク(ResNet-56)を用いて得られた実験結果について、FSVMの観測結果がより一般的に保持されるだけでなく、人口リスクがR$以上の値で増加し始める可能性があることを示す。
関連論文リスト
- Vertical Federated Learning with Missing Features During Training and Inference [37.44022318612869]
本稿では,ニューラルネットワークに基づくモデルの学習と推論を効率的に行うための垂直連合学習手法を提案する。
私たちのアプローチは単純だが効果的であり、タスクサンプリングと推論におけるパラメータの戦略的共有に依存しています。
数値実験により, ベースライン上におけるLASER-VFLの性能が向上した。
論文 参考訳（メタデータ） (2024-10-29T22:09:31Z) - Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - On the Convergence of Federated Averaging under Partial Participation for Over-parameterized Neural Networks [13.2844023993979]
フェデレートラーニング(FL)は、ローカルデータを共有せずに複数のクライアントから機械学習モデルを協調的に作成するための分散パラダイムである。
本稿では,FedAvgが世界規模で世界規模で収束していることを示す。
論文 参考訳（メタデータ） (2023-10-09T07:56:56Z) - More Communication Does Not Result in Smaller Generalization Error in
Federated Learning [9.00236182523638]
フェデレーテッド・ラーニング・セッティングにおける統計的学習モデルの一般化誤差について検討する。
モデル集約の多重(mathbb N*$の$R)ラウンドについて検討し、最終的な集約モデルの一般化誤差に対する$R$の効果について検討する。
論文 参考訳（メタデータ） (2023-04-24T15:56:11Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - Rate-Distortion Theoretic Bounds on Generalization Error for Distributed
Learning [9.00236182523638]
本稿では,統計的分散学習アルゴリズムの一般化誤差の新しい上限を確立するために,レート歪み理論のツールを用いる。
境界は各クライアントのアルゴリズムの圧縮性に依存し、他のクライアントのアルゴリズムは圧縮されない。
論文 参考訳（メタデータ） (2022-06-06T13:21:52Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - CFedAvg: Achieving Efficient Communication and Fast Convergence in
Non-IID Federated Learning [8.702106020664612]
フェデレートラーニング(Federated Learning, FL)は、多くの労働者がトレーニングデータを共有せずにモデルを共同で学習する分散ラーニングパラダイムである。
FLでは、ディープラーニング(ディープ)学習モデルと帯域幅接続によって高い通信コストが発生する可能性がある。
本研究では,非バイアスのSNR制約圧縮機を用いたFL用分散通信データセットCFedAvgを紹介する。
論文 参考訳（メタデータ） (2021-06-14T04:27:19Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。