論文の概要: A Large-Dimensional Analysis of Least-Squares Federated Learning via Generalized Total Variation Minimization

• arxiv url: http://arxiv.org/abs/2610.20075v1
• Date: Wed, 14 Oct 2026 12:13:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.136074
• Title: A Large-Dimensional Analysis of Least-Squares Federated Learning via Generalized Total Variation Minimization
• Title（参考訳）: 一般化総変分最小化による最小二乗学習の大規模解析
• Abstract要約: 分散化されたネットワーク上でのフェデレーション学習は、本質的には局所的な有限サンプルノイズの抑制と引き換えにしている。 最小二乗モデルを用いた一般化トータル変分最小化の大次元解析を行うことにより、この張力について検討する。
• 参考スコア（独自算出の注目度）: 48.763194210360275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning over decentralized networks inherently trades off the suppression of local finite-sample noise through collaboration against the bias that collaboration introduces between heterogeneous nodes. We study this tension by performing a large-dimensional analysis of Generalized Total Variation Minimization with least-squares models. Using tools from random matrix theory, we show that Lipschitz observations of the global GTVMin solution concentrate in large dimensions, universally for any underlying network structure. We provide exact analytic expressions for the asymptotically precise performance under both i.i.d. and non-i.i.d. Gaussian mixture distributions on a fixed network. For the latter, these expressions quantify how regularization balances local adaptation against collaboration. Our theoretical results are confirmed by experiments on synthetic and real-world data.
• Abstract（参考訳）: 分散ネットワーク上のフェデレーション学習は、非均一ノード間で生じるバイアスに対するコラボレーションを通じて、局所的な有限サンプルノイズの抑制を本質的に取り除く。 最小二乗モデルを用いた一般化トータル変分最小化の大次元解析を行うことにより、この張力について検討する。 ランダム行列理論のツールを用いて、大域的なGTVMin溶液のリプシッツ観測が、どんな基盤となるネットワーク構造に対しても、大きな次元に集中していることが示される。 我々は,固定ネットワーク上での<i>d</i>および非<i>d</i>ガウス混合分布の下での漸近的正確な性能の正確な解析式を提供する。 後者の場合、これらの表現は、レギュラー化がコラボレーションに対する局所的な適応とどのようにバランスするかを定量化する。 我々の理論結果は、合成および実世界のデータに関する実験によって確認される。

関連論文リスト

• Diffusion Models Are Statistically Optimal for Learning Low-Dimensional Multi-Modal Distributions [11.621528352410502]
  低次元部分空間の和集合に支持された学習分布に対する拡散モデルのサンプル複雑性について検討する。 拡散モデルは1-ワッサーシュタイン距離において$varepsilon$誤差を達成するために、少なくとも$widetildeO(varepsilon-k vee 2)$サンプルを必要とする。
  論文  参考訳（メタデータ） (2026-05-28T16:13:44Z)
• On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing [12.845681770287005]
  重み共有、同変、局所フィルタは、ニューラルネットワークのサンプル効率に寄与していると考えられている。 局所性には一般化の利点があることが示されるが、不確実性原理は局所性と表現性の間のトレードオフを意味する。
  論文  参考訳（メタデータ） (2024-11-21T16:36:01Z)
• Gaussian Universality in Neural Network Dynamics with Generalized Structured Input Distributions [2.3020018305241337]
  ガウス混合体としてモデル化された入力に基づいて学習したディープラーニングシステムの振る舞いを分析し,より汎用的な入力をシミュレートする。 特定の標準化スキームの下では、入力データがより複雑あるいは実世界の分布に従う場合でも、ディープラーニングモデルはガウス的な設定行動に収束する。
  論文  参考訳（メタデータ） (2024-05-01T17:10:55Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。