論文の概要: Beyond Client Averaging: A Client-Independent Second-Order Stationary-Bias Component in Stochastic SCAFFOLD
- arxiv url: http://arxiv.org/abs/2608.26765v1
- Date: Thu, 27 Aug 2026 07:57:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.299215
- Title: Beyond Client Averaging: A Client-Independent Second-Order Stationary-Bias Component in Stochastic SCAFFOLD
- Title（参考訳）: クライアント平均を超える: 確率SCAFFOLDにおけるクライアント非依存の2次定常バイアスコンポーネント
- Abstract要約: 既存のScofの定数ステップ分析では、先頭の$O(/N)$定常平均バイアスを特定し、クライアント数が増加するにつれて上位のバイアスが持続することを示す。
クライアント平均化は先頭の$O(/N)$バイアスを抑制するが、係数がゼロでない場合、クライアント非依存の$O(2)$コンポーネントを削除しないことを示す。
- 参考スコア（独自算出の注目度）: 3.007949058551534
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing constant-step analysis of stochastic \Scaf{} identifies a leading $O(γ/N)$ stationary mean bias and shows that higher-order bias can persist as the client count increases, but does not identify the first client-independent contribution at coefficient level. For full-participation stochastic \Scaf{} with one-dimensional homogeneous clients, fixed local-step count $H$, and bounded additive gradient noise, we prove, uniformly over $N\ge2$, $$ \begin{aligned} \mathbb{E}_{π_{γ,N,H}}[x]-x^\star ={}& -\frac{f'''(x^\star)σ^2}{4f''(x^\star)^2}\fracγ{N}\\ &- \frac{f'''(x^\star)σ^2}{12f''(x^\star)} \frac{(H-1)(5H-1)}{H}γ^2 +O_H\!\left(\frac{γ^2}{N}+γ^3\right). \end{aligned} $$ Hence client averaging suppresses the leading $O(γ/N)$ bias but does not remove the client-independent $O(γ^2)$ component when its coefficient is nonzero. The mechanism is indirect: although the direct control contribution cancels pathwise in the linear global average, the controls still alter within-round local trajectories and their second moments. Fresh gradient noise and persistent control fluctuations therefore generate local second-moment corrections that nonquadratic curvature converts into stationary mean bias. The coefficient vanishes for quadratic objectives. Numerical experiments are consistent with the predicted coefficient, its persistence as client count increases, and the stated joint remainder. The result is restricted to the one-dimensional homogeneous fixed-$H$ setting.
- Abstract（参考訳）: 既存の確率的 \Scaf{} の定数ステップ解析は、先頭の$O(γ/N)$定常平均バイアスを特定し、クライアント数が増加するにつれて高次バイアスが持続することを示したが、係数レベルで最初のクライアント非依存的な寄与は特定しない。
一次元の均質なクライアントを持つフルパーティショニング確率的 \Scaf{} に対し、固定された局所ステップ数 $H$ および有界加法的勾配雑音は、一様に$N\ge2$, $$ \begin{aligned} \mathbb{E}_{π_{γ,N,H}}[x]-x^\star ={}& -\frac{f''(x^\star)σ^2}{4f''(x^\star)^2}\fracγ{N}\\\ &- \frac{f''(x^\star)σ^2}{12f''(x^\star)} \frac{(H-1)(H-1-1-1-1-1)H-1)+O_H!
\left(\frac{γ^2}{N}+γ^3\right)。
\end{aligned} $$ Henceクライアント平均化は、先頭の$O(γ/N)$バイアスを抑制するが、係数がゼロでない場合は、クライアント非依存の$O(γ^2)$コンポーネントを削除しない。
このメカニズムは間接的であり、直接制御コントリビューションは線形大域平均において経路的にキャンセルされるが、制御は依然としてラウンド内の局所軌道とその第2モーメントを変化させる。
したがって、新しい勾配ノイズと永続的な制御変動は、非四分曲曲率が定常平均バイアスに変換する局所的な第2モーメント補正を生成する。
その係数は二次目的のために消える。
数値実験は, 予測係数, クライアント数の増加に伴う持続性, 供述の継手残量と一致している。
結果は一次元の同次固定値-$H$設定に制限される。
関連論文リスト
- KPZ Superdiffusion of Local Correlators in Diffusive Random Quantum Circuits [0.0]
正規化された空間分布 $p(x,t)propto |G(x,t)|2$ のゆるやかな統計において、カルダル=パリ=チャンのスケーリングが見つかる。
特に、その中心である$langle x(t)rangleequivsum_x x, p(x,t)$waws on a length-scale $mathcalO(t2/3)$, while sample-to-sample fluctuations of $-logsum_x |G(x,t)|2$ scale as
論文 参考訳（メタデータ） (2026-08-06T18:00:02Z) - Asymptotic-Preserving A Posteriori Analysis of Diffusion and Flow-Matching Samplers [0.6768558752130311]
拡散及びフローマッチングサンプリングは、学習した確率フローODEを、大きなノイズスケールから小さな終端フロア($_min$)まで統合し、スコアが硬く、フローが境界層を発達させる。
特異摂動パラメータとして$_min$を扱い、どの固定ステップサンプリングが解けるかを決定する。
論文 参考訳（メタデータ） (2026-07-05T04:48:33Z) - On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature [1.6773271875801752]
グラディエントDescent (SGD) は、損失ランドスケープの局所曲率と相関する異方性雑音を導入し、平坦なミニマに対して最適化を行う。
この仮定は、ディープニューラルネットワークでは通常違反される制約条件下でのみ成立することを示す。
データセット、アーキテクチャ、損失関数にわたる実験は、これらの境界を検証し、ディープラーニングにおけるノイズ-曲率関係を統一的に評価する。
論文 参考訳（メタデータ） (2026-02-05T12:35:13Z) - Convergence of TD(0) under Polynomial Mixing with Nonlinear Function Approximation [49.1574468325115]
時間差分学習(TD(0))は強化学習の基本である。
マルコフデータを混合したバニラTD(0)の最初の高確率有限サンプル解析を行う。
論文 参考訳（メタデータ） (2025-02-08T22:01:02Z) - On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。
我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。
収束率は$frac1Tsum_k=1Tと類似していると考えられる。
論文 参考訳（メタデータ） (2024-02-01T07:21:32Z) - Efficient Estimation of the Central Mean Subspace via Smoothed Gradient Outer Products [12.047053875716506]
マルチインデックスモデルに対する十分な次元削減の問題を考察する。
高速パラメトリック収束速度が$C_d cdot n-1/2$であることを示す。
論文 参考訳（メタデータ） (2023-12-24T12:28:07Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Stochastic Zeroth Order Gradient and Hessian Estimators: Variance
Reduction and Refined Bias Bounds [6.137707924685666]
我々は$mathbbRn$における実数値関数に対するゼロ次数とヘッセン推定器について検討する。
ランダムな方向に沿って有限差分を取ることにより、勾配有限差分推定器の分散を著しく低減できることを示す。
論文 参考訳（メタデータ） (2022-05-29T18:53:24Z) - A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。
本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。
総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
論文 参考訳（メタデータ） (2021-02-09T02:44:24Z) - Optimal Mean Estimation without a Variance [103.26777953032537]
本研究では,データ生成分布の分散が存在しない環境での重み付き平均推定問題について検討する。
最小の信頼区間を$n,d,delta$の関数として得る推定器を設計する。
論文 参考訳（メタデータ） (2020-11-24T22:39:21Z) - GO Hessian for Expectation-Based Objectives [73.06986780804269]
GOグラデーションは、最近予測に基づく目的に対して$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$として提案された。
GO勾配に基づいて、$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$ an unbiased low-variance Hessian estimator, named GO Hessian を示す。
論文 参考訳（メタデータ） (2020-06-16T02:20:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。