論文の概要: Federated Learning You May Communicate Less Often!
- arxiv url: http://arxiv.org/abs/2306.05862v1
- Date: Fri, 9 Jun 2023 12:53:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 13:30:38.237550
- Title: Federated Learning You May Communicate Less Often!
- Title（参考訳）: 連合学習 あまりコミュニケーションしないかもしれない!
- Authors: Milad Sefidgaran, Romain Chor, Abdellatif Zaidi, Yijun Wan
- Abstract要約: 本稿では,クライアントとパラメータサーバ間の通信ラウンド数による一般化誤差の進化について検討する。
我々は, ラウンド数の影響を明示的に考慮した一般化誤差に対して, PAC-Bayes と rate-distortion 理論境界を確立する。
特に,FSVMの一般化誤差は$R$で増加し,パラメータサーバとのより頻繁な通信は,そのような学習アルゴリズムの一般化力を低下させることを示す。
- 参考スコア（独自算出の注目度）: 8.009932864430903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the generalization error of statistical learning models in a
Federated Learning (FL) setting. Specifically, we study the evolution of the
generalization error with the number of communication rounds between the
clients and the parameter server, i.e., the effect on the generalization error
of how often the local models as computed by the clients are aggregated at the
parameter server. We establish PAC-Bayes and rate-distortion theoretic bounds
on the generalization error that account explicitly for the effect of the
number of rounds, say $ R \in \mathbb{N}$, in addition to the number of
participating devices $K$ and individual datasets size $n$. The bounds, which
apply in their generality for a large class of loss functions and learning
algorithms, appear to be the first of their kind for the FL setting.
Furthermore, we apply our bounds to FL-type Support Vector Machines (FSVM); and
we derive (more) explicit bounds on the generalization error in this case. In
particular, we show that the generalization error of FSVM increases with $R$,
suggesting that more frequent communication with the parameter server
diminishes the generalization power of such learning algorithms. Combined with
that the empirical risk generally decreases for larger values of $R$, this
indicates that $R$ might be a parameter to optimize in order to minimize the
population risk of FL algorithms. Moreover, specialized to the case $R=1$
(sometimes referred to as "one-shot" FL or distributed learning) our bounds
suggest that the generalization error of the FL setting decreases faster than
that of centralized learning by a factor of $\mathcal{O}(\sqrt{\log(K)/K})$,
thereby generalizing recent findings in this direction to arbitrary loss
functions and algorithms. The results of this paper are also validated on some
experiments.
- Abstract（参考訳）: フェデレートラーニング(FL)における統計的学習モデルの一般化誤差について検討する。
具体的には、クライアントとパラメータサーバ間の通信ラウンド数による一般化誤差の進化、すなわち、クライアントが計算したローカルモデルがどのようにパラメータサーバに集約されるかの一般化誤差に与える影響について検討する。
ラウンド数の影響を明示的に考慮した一般化誤差について、pac-bayes と rate-distortion 理論の境界を定め、例えば $r \in \mathbb{n}$ や参加するデバイス数 $k$ や個々のデータセットサイズ $n$ などを挙げる。
大規模な損失関数や学習アルゴリズムの一般性において適用される境界は、FL設定におけるそれらの種類の最初のものと思われる。
さらに、FL型サポートベクトルマシン(FSVM)に境界を適用し、この場合の一般化誤差について(さらに)明示的な境界を導出する。
特に,FSVMの一般化誤差は$R$で増加し,パラメータサーバとのより頻繁な通信は,そのような学習アルゴリズムの一般化力を低下させることを示す。
経験的リスクがより大きい値のr$に対して一般的に減少するのと相まって、r$はflアルゴリズムの人口リスクを最小限に抑えるために最適化するパラメータである可能性がある。
さらに、$r=1$("one-shot" flまたは分散学習と呼ばれることもある)のケースに特化することで、fl設定の一般化誤差は$\mathcal{o}(\sqrt{\log(k)/k})$の係数によって集中学習よりも早く減少し、この方向の最近の知見を任意の損失関数やアルゴリズムに一般化することを示唆する。
また,本研究の結果をいくつかの実験で検証した。
関連論文リスト
- Vertical Federated Learning with Missing Features During Training and Inference [37.44022318612869]
本稿では,ニューラルネットワークに基づくモデルの学習と推論を効率的に行うための垂直連合学習手法を提案する。
私たちのアプローチは単純だが効果的であり、タスクサンプリングと推論におけるパラメータの戦略的共有に依存しています。
数値実験により, ベースライン上におけるLASER-VFLの性能が向上した。
論文 参考訳（メタデータ） (2024-10-29T22:09:31Z) - Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - On the Convergence of Federated Averaging under Partial Participation for Over-parameterized Neural Networks [13.2844023993979]
フェデレートラーニング(FL)は、ローカルデータを共有せずに複数のクライアントから機械学習モデルを協調的に作成するための分散パラダイムである。
本稿では,FedAvgが世界規模で世界規模で収束していることを示す。
論文 参考訳（メタデータ） (2023-10-09T07:56:56Z) - More Communication Does Not Result in Smaller Generalization Error in
Federated Learning [9.00236182523638]
フェデレーテッド・ラーニング・セッティングにおける統計的学習モデルの一般化誤差について検討する。
モデル集約の多重(mathbb N*$の$R)ラウンドについて検討し、最終的な集約モデルの一般化誤差に対する$R$の効果について検討する。
論文 参考訳（メタデータ） (2023-04-24T15:56:11Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - Rate-Distortion Theoretic Bounds on Generalization Error for Distributed
Learning [9.00236182523638]
本稿では,統計的分散学習アルゴリズムの一般化誤差の新しい上限を確立するために,レート歪み理論のツールを用いる。
境界は各クライアントのアルゴリズムの圧縮性に依存し、他のクライアントのアルゴリズムは圧縮されない。
論文 参考訳（メタデータ） (2022-06-06T13:21:52Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - CFedAvg: Achieving Efficient Communication and Fast Convergence in
Non-IID Federated Learning [8.702106020664612]
フェデレートラーニング(Federated Learning, FL)は、多くの労働者がトレーニングデータを共有せずにモデルを共同で学習する分散ラーニングパラダイムである。
FLでは、ディープラーニング(ディープ)学習モデルと帯域幅接続によって高い通信コストが発生する可能性がある。
本研究では,非バイアスのSNR制約圧縮機を用いたFL用分散通信データセットCFedAvgを紹介する。
論文 参考訳（メタデータ） (2021-06-14T04:27:19Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。