Fugu-MT 論文翻訳(概要): One-shot Distributed Learning via Weighted Averaging with Server-side Information

論文の概要: One-shot Distributed Learning via Weighted Averaging with Server-side Information

arxiv url: http://arxiv.org/abs/2611.04700v1
Date: Tue, 03 Nov 2026 11:22:26 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-04 17:31:09.287539
Title: One-shot Distributed Learning via Weighted Averaging with Server-side Information
Title（参考訳）: サーバサイド情報を用いた重み付き平均化によるワンショット分散学習
Abstract要約: 平均化は、仮説ノードのいわゆるプールデータ平均二乗誤差順序を達成できることが知られている。非ゼロの局所バイアス$n-$, $geq1$, サンプルサイズの重み付き平均化は、$m=mathcal O(n2-1)$のときにプールデータMSEオーダーを達成する。 MSEが$mathcalO(p-1)$であるサーバのみの推定は、サンプルサイズの重み付けが失敗しながら、プールデータ順序を達成できることが実験によって示されている。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Distributed learning has drawn considerable attention due to its capability of learning from distributed data without aggregating raw observations. However, frequent exchange of model updates can become the main bottleneck of communication. Therefore, one-shot approaches where each worker fits a local model and sends it to the server to aggregate emerge. It is known that averaging can achieve the so-called pooled-data mean squared error (MSE) order of a hypothetical node that has access to data from the server and all the workers, and performs empirical risk minimization (ERM) on it. However, when the number of workers increases too fast compared to the local sample size, nonzero local estimation bias prevents averaging from achieving this order. In this paper, we study whether independent server data can overcome this limitation. We consider $m$ workers with $n$ observations each and a server with $p$ observations, all i.i.d., giving $N=mn+p$ observations in total. Under certain regularity conditions, a pooled-data ERM achieves MSE of order $\mathcal O(N^{-1})$. We analyze deterministic nonnegative averaging of convex-loss M-estimators, with equal worker weights and the server's own estimator included. Under our assumptions, including nonzero local bias of order $n^{-α}$, $α\geq1$, sample-size weighted averaging achieves the pooled-data MSE order whenever $m=\mathcal O(n^{2α-1})$. Above this worker scale, it does so if and only if $p=Ω(nm\cdot m/n^{2α-1})$. Hence, server-only estimation, whose MSE is of order $\mathcal{O}(p^{-1})$, can achieve pooled-data order while sample-size weighting fails. Analytical examples and synthetic experiments illustrate when averaging matches the pooled-data MSE order, complemented by CIFAR-10 experiments comparing aggregation strategies with linear and nonlinear classifiers.
Abstract（参考訳）: 分散学習は、生の観測を集約することなく、分散データから学習できることから、かなりの注目を集めている。しかし、頻繁なモデル更新の交換がコミュニケーションのボトルネックとなる可能性がある。したがって、各ワーカがローカルモデルに適合し、それをサーバに送信し、創発的に集約する。平均化は、サーバおよび全作業者からのデータにアクセスし、その上で経験的リスク最小化(ERM)を行う仮説ノードのいわゆるプールデータ平均二乗誤差(MSE)オーダーを達成することが知られている。しかし、局所的なサンプルサイズに比べて作業者の数が速すぎると、非ゼロな局所推定バイアスが平均化を阻止する。本稿では,この制限を克服できるかどうかを考察する。我々は、それぞれ$n$の労働者と$p$の観測を行うサーバー、すなわち全て$N=mn+p$の観測を行う。ある正則性条件の下では、プールデータEMMは位数 $\mathcal O(N^{-1})$ の MSE を達成する。我々は, 対等な作業量とサーバ自身の推定量を含む凸損失M-推定器の決定論的非負平均化を解析した。我々の仮定では、位数 $n^{-α}$, $α\geq1$ の非ゼロ局所バイアスを含むサンプルサイズの重み付き平均化は、$m=\mathcal O(n^{2α-1})$ のときいつでもプールデータMSEオーダーを達成する。この労働者の規模を超えると、$p=Ω(nm\cdot m/n^{2α-1})$である。したがって、MSEが$\mathcal{O}(p^{-1})$であるサーバのみの推定は、サンプルサイズの重み付けが失敗しながら、プールデータ順序を達成することができる。解析的な例と合成実験は、平均値がプールデータMSE順序といつ一致するかを示し、CIFAR-10実験で線形および非線形分類器と集約戦略を比較した。

論文の概要: One-shot Distributed Learning via Weighted Averaging with Server-side Information

関連論文リスト