論文の概要: One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation

• arxiv url: http://arxiv.org/abs/2601.08216v1
• Date: Tue, 13 Jan 2026 04:47:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.063193
• Title: One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation
• Title（参考訳）: One-Shot Federated Ridge Regression:Sufficient Statistic Aggregationによる厳密な回復
• Authors: Zahir Alsulaimawi,
• Abstract要約: フェデレート・リッジ回帰(Federated ridge regression)は、各クライアントが局所的な十分な統計を計算し、一度送信する分散平衡問題である。 我々は、クライアント1回に1回ノイズが注入された場合の差分プライバシー保証を確立し、マルチラウンドプロトコルのプライバシを低下させる構成ペナルティを排除した。 合成ヘテロジニアス回帰の実験では、単発核融合はFedAvgの精度と一致し、通信コストは最大38時間以下であることが示されている。
• 参考スコア（独自算出の注目度）: 0.7106986689736825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning protocols require repeated synchronization between clients and a central server, with convergence rates depending on learning rates, data heterogeneity, and client sampling. This paper asks whether iterative communication is necessary for distributed linear regression. We show it is not. We formulate federated ridge regression as a distributed equilibrium problem where each client computes local sufficient statistics -- the Gram matrix and moment vector -- and transmits them once. The server reconstructs the global solution through a single matrix inversion. We prove exact recovery: under a coverage condition on client feature matrices, one-shot aggregation yields the centralized ridge solution, not an approximation. For heterogeneous distributions violating coverage, we derive non-asymptotic error bounds depending on spectral properties of the aggregated Gram matrix. Communication reduces from $\mathcal{O}(Rd)$ in iterative methods to $\mathcal{O}(d^2)$ total; for high-dimensional settings, we propose and experimentally validate random projection techniques reducing this to $\mathcal{O}(m^2)$ where $m \ll d$. We establish differential privacy guarantees where noise is injected once per client, eliminating the composition penalty that degrades privacy in multi-round protocols. We further address practical considerations including client dropout robustness, federated cross-validation for hyperparameter selection, and comparison with gradient-based alternatives. Comprehensive experiments on synthetic heterogeneous regression demonstrate that one-shot fusion matches FedAvg accuracy while requiring up to $38\times$ less communication. The framework applies to kernel methods and random feature models but not to general nonlinear architectures.
• Abstract（参考訳）: フェデレートされた学習プロトコルは、学習率、データの均一性、クライアントサンプリングに依存する収束率で、クライアントと中央サーバの間で繰り返し同期する必要がある。 本稿では,分散線形回帰に反復的通信が必要であるかどうかを問う。 私たちはそうではないことを示します。 我々は,各クライアントが局所的に十分な統計量(グラマー行列とモーメントベクトル)を計算し,一度送信する分散平衡問題として,連合リッジ回帰を定式化する。 サーバは、単一のマトリックスインバージョンを通じてグローバルソリューションを再構築する。 クライアントの特徴行列のカバレッジ条件の下では、一発アグリゲーションは近似ではなく、集中的なリッジ解を生成する。 被覆に違反する不均一分布に対しては、集約されたグラム行列のスペクトル特性に依存する非漸近誤差境界を導出する。 通信は反復的手法で$\mathcal{O}(Rd)$から$\mathcal{O}(d^2)$ totalに還元される。 我々は、クライアント1回に1回ノイズが注入された場合の差分プライバシー保証を確立し、マルチラウンドプロトコルのプライバシを低下させる構成ペナルティを排除した。 さらに、クライアントのドロップアウトロバスト性、ハイパーパラメータ選択のためのフェデレーションクロスバリデーション、勾配に基づく代替品との比較などの実践的考察に対処する。 合成ヘテロジニアス回帰に関する総合的な実験は、単発核融合がFedAvgの精度と一致し、最大38\times$低い通信を必要とすることを示した。 このフレームワークはカーネルメソッドやランダムな特徴モデルに適用されるが、一般的な非線形アーキテクチャには適用されない。

関連論文リスト

• Beyond Covariance Matrix: The Statistical Complexity of Private Linear Regression [66.93988594607842]
  プライバシー制約の下では、プライベート線形回帰の複雑さは通常の共分散行列によって捉えられる。 最適率を達成するための情報重み付け回帰手法を提案する。 特に、我々の結果は、共同プライバシーは追加費用がほとんどないことを示している。
  論文  参考訳（メタデータ） (2025-02-18T18:35:24Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Generalized Differentiable RANSAC [95.95627475224231]
  $nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。 $nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
  論文  参考訳（メタデータ） (2022-12-26T15:13:13Z)
• Heterogeneous Federated Learning on a Graph [9.135254524746847]
  ローカルデータを共有せずに複数の分散デバイスでアルゴリズムをトレーニングするフェデレーション学習は、機械学習の実践でますます人気を集めている。 本研究では,データ分散と通信の不均一性を伴うフェデレート学習繰り返しにおけるパラメータ推定と,ローカル機器の計算能力の制限について考察する。 我々のアルゴリズムは収束率$O(T-1log T)$で$G$のエッジに沿ってパラメータのみを送信する。
  論文  参考訳（メタデータ） (2022-09-19T03:18:10Z)
• Recovery Guarantees for Distributed-OMP [8.393317912360564]
  高次元スパース線形回帰のための分散スキームについて検討する。 分散OMPスキームは, 分散OMP方式により, マシン単位の線形通信による回帰ベクトルの支持を回復し, 空間的・対数的次元で表す。 シミュレーションにより,分散OMP方式はより計算集約的な手法と競合することを示した。
  論文  参考訳（メタデータ） (2022-09-15T11:43:33Z)
• Distributed Sparse Regression via Penalization [5.990069843501885]
  エージェントのネットワーク上の線形回帰を、(集中ノードを持たない)無向グラフとしてモデル化する。 推定問題は、局所的なLASSO損失関数の和とコンセンサス制約の2次ペナルティの最小化として定式化される。 本稿では, ペナル化問題に適用した近似勾配アルゴリズムが, 集中的な統計的誤差の順序の許容値まで線形に収束することを示す。
  論文  参考訳（メタデータ） (2021-11-12T01:51:50Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Nonlinear Distribution Regression for Remote Sensing Applications [6.664736150040092]
  多くのリモートセンシングアプリケーションでは、観察から関心のある変数やパラメータを推定したい。 ニューラルネットワーク、ランダムフォレスト、ガウス過程などの標準アルゴリズムは、これら2つに関連して容易に利用可能である。 本稿では, グループ化されたデータの統計を仮定することなく, 従来の問題を解く非線形(カーネルベース)な分散回帰法を提案する。
  論文  参考訳（メタデータ） (2020-12-07T22:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。