論文の概要: A Statistical Analysis of Deep Federated Learning for Intrinsically Low-dimensional Data
- arxiv url: http://arxiv.org/abs/2410.20659v1
- Date: Mon, 28 Oct 2024 01:36:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:18:55.540905
- Title: A Statistical Analysis of Deep Federated Learning for Intrinsically Low-dimensional Data
- Title（参考訳）: 内在的低次元データに対するディープフェデレーション学習の統計的解析
- Authors: Saptarshi Chakraborty, Peter L. Bartlett,
- Abstract要約: Federated Learning (FL)は、協調機械学習における画期的なパラダイムとして登場した。
本稿では,2段階サンプリングモデルにおけるディープフェデレート回帰の一般化特性について検討する。
- 参考スコア（独自算出の注目度）: 32.98264375121064
- License:
- Abstract: Federated Learning (FL) has emerged as a groundbreaking paradigm in collaborative machine learning, emphasizing decentralized model training to address data privacy concerns. While significant progress has been made in optimizing federated learning, the exploration of generalization error, particularly in heterogeneous settings, has been limited, focusing mainly on parametric cases. This paper investigates the generalization properties of deep federated regression within a two-stage sampling model. Our findings highlight that the intrinsic dimension, defined by the entropic dimension, is crucial for determining convergence rates when appropriate network sizes are used. Specifically, if the true relationship between response and explanatory variables is charecterized by a $\beta$-H\"older function and there are $n$ independent and identically distributed (i.i.d.) samples from $m$ participating clients, the error rate for participating clients scales at most as $\tilde{O}\left((mn)^{-2\beta/(2\beta + \bar{d}_{2\beta}(\lambda))}\right)$, and for non-participating clients, it scales as $\tilde{O}\left(\Delta \cdot m^{-2\beta/(2\beta + \bar{d}_{2\beta}(\lambda))} + (mn)^{-2\beta/(2\beta + \bar{d}_{2\beta}(\lambda))}\right)$. Here, $\bar{d}_{2\beta}(\lambda)$ represents the $2\beta$-entropic dimension of $\lambda$, the marginal distribution of the explanatory variables, and $\Delta$ characterizes the dependence between the sampling stages. Our results explicitly account for the "closeness" of clients, demonstrating that the convergence rates of deep federated learners depend on intrinsic rather than nominal high-dimensionality.
- Abstract（参考訳）: Federated Learning(FL)は、データプライバシの懸念に対処するための分散モデルトレーニングを強調した、コラボレーティブ機械学習における画期的なパラダイムとして登場した。
フェデレーション学習の最適化には大きな進歩があったが、特に異種環境における一般化誤差の探索は、主にパラメトリックケースに焦点を当てて制限されている。
本稿では,2段階サンプリングモデルにおけるディープフェデレート回帰の一般化特性について検討する。
本研究は,エントロピー次元によって定義される固有次元が,適切なネットワークサイズを使用する場合の収束率を決定する上で重要であることを示す。
具体的には、応答変数と説明変数の真の関係が$\beta$-H\"older関数によって整合化され、$m$参加クライアントから独立で同一に分散された(d.d.)サンプルが存在する場合、参加クライアントのエラーレートは、$\tilde{O}\left((mn)^{-2\beta/(2\beta + \bar{d}_{2\beta}(\lambda))}\right)$、非参加クライアントの場合は$\tilde{O}\left(\Delta \cdot m^{-2\beta/(2\beta + \bar{d}_{2\beta}(\lambda))} + (mn)^{-2\beta +(2\beta (\lambda))$である。
ここで、$\bar{d}_{2\beta}(\lambda)$は$\lambda$のエントロピー次元、説明変数の辺分布、$\Delta$はサンプリングステージ間の依存を特徴づける。
以上の結果から, 深層学習者の収束率は, 名目上の高次元性よりも内在性に依存していることが示唆された。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。
連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
論文 参考訳（メタデータ） (2024-04-15T12:29:28Z) - Analysis of the expected $L_2$ error of an over-parametrized deep neural
network estimate learned by gradient descent without regularization [7.977229957867868]
近年の研究では、正規化された経験的リスクに勾配降下を適用して学習した過度パラメータ化されたディープニューラルネットワークによって定義される推定値が、普遍的に一貫していることが示されている。
本稿では、同様の結果を得るために正規化項は必要ないことを示す。
論文 参考訳（メタデータ） (2023-11-24T17:04:21Z) - Reward-Free Model-Based Reinforcement Learning with Linear Function
Approximation [92.99933928528797]
エピソードマルコフ決定過程(MDP)に対する線形関数近似を用いたモデルに基づく無報酬強化学習について検討する。
計画段階では、特定の報酬関数が与えられ、探索フェーズから収集したサンプルを使用して良い政策を学ぶ。
任意の報酬関数に対して$epsilon$-optimal Policyを得るには,最大$tilde O(H4d(H + d)epsilon-2)$ episodesをサンプリングする必要がある。
論文 参考訳（メタデータ） (2021-10-12T23:03:58Z) - Locality defeats the curse of dimensionality in convolutional
teacher-student scenarios [69.2027612631023]
学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。
我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
論文 参考訳（メタデータ） (2021-06-16T08:27:31Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳（メタデータ） (2021-06-04T17:52:50Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - A scaling hypothesis for projected entangled-pair states [0.0]
本稿では,強い相関関係を持つシステムに対して,射影絡み合ったペア状態(PEPS)でシミュレーションをスケールするための新しいパラダイムを提案する。
データポイントの崩壊を誘導するために有効相関長$chi$,$f(D,chi)=f(xi(D,chi))$,$D$の任意の値と環境結合次元$chi$を使用する。
本研究では, 臨界3次元二量体モデル, 3次元古典イジングモデル, 2次元量子ハイゼンベルクモデルに関する仮説を検証した。
論文 参考訳（メタデータ） (2021-02-05T12:48:01Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。