論文の概要: SCAFFOLD under Hessian Similarity: Sharp Convergence Rates
- arxiv url: http://arxiv.org/abs/2610.35663v1
- Date: Mon, 26 Oct 2026 16:09:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.064771
- Title: SCAFFOLD under Hessian Similarity: Sharp Convergence Rates
- Title（参考訳）: ヘシアン類似のSCAFFOLD:シャープ収束率
- Abstract要約: フェデレーション学習の主な課題の1つは、クライアント間での不均一なデータ分割であり、クライアントドリフトと呼ばれるローカル更新にバイアスがかかる。
SCAFFOLD(Karimireddy et al., 2020)は、クライアントのドリフトを二次的に補正するが、元の保証との関係はまだ完全には理解されていない。
我々は,クライアント選択の変種に対して,均一なヘッセン類似性の下で,類似した局データ保証を証明した。
- 参考スコア（独自算出の注目度）: 63.995660330510105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the main challenges of federated learning is heterogeneous data split among the clients, leading to biased local updates called client drift. The SCAFFOLD algorithm (Karimireddy et al., 2020) corrects client drift with control variates, but its relation to the similarity of client data is not yet fully understood: the original similarity-based guarantees cover only quadratics with a stronger second-order similarity assumption, and a follow-up weakly convex analysis (Luo et al., 2025) obtains a $\sqrt{Lδ}$ dependence for $L$-smooth losses with averaged Hessian similarity $δ$. We analyze SCAFFOLD with minibatch-based control variates and establish linear dependence on Hessian similarity beyond quadratics, for both convex and nonconvex objectives. In particular, for convex objectives with exact gradients, $R$ SCAFFOLD rounds with $K$ local steps lead to an objective gap of order $(L/K+δ)D_0^2/R$, where $D_0$ is the initial distance to a minimizer. When $K=Θ(L/δ)$, it improves the minibatch SGD rate by a factor $Θ(L/δ)$. For nonconvex objectives, we prove an analogous stationarity guarantee under uniform Hessian similarity for a client-selection variant. In both settings, we extend these guarantees to stochastic gradients and prove matching lower bounds for the analyzed methods with constant local stepsizes. We also show that, under partial participation, even identical clients need not obtain the full communication benefit of additional local steps.
- Abstract（参考訳）: フェデレーション学習の主な課題の1つは、クライアント間での不均一なデータ分割であり、クライアントドリフトと呼ばれるローカル更新にバイアスがかかる。
SCAFFOLDアルゴリズム(Karimireddy et al , 2020)は、クライアントのドリフトを制御変数で補正するが、クライアントデータの類似性との関係はまだ完全には理解されていない。
ミニバッチ制御によるSCAFFOLDの解析を行い,凸および非凸の両目的に対して,2次数を超えるヘシアン類似性に対する線形依存を確立する。
特に、厳密な勾配を持つ凸対象に対して、$R$ SCAFFOLD ラウンドと$K$ 局所ステップは、次数 $(L/K+δ)D_0^2/R$ の客観的ギャップにつながる。
K=(L/δ)$ のとき、最小バッチ SGD レートを $ の$ の$(L/δ)$ で改善する。
非凸目的に対して、クライアント選択変種に対する均一なヘッセン類似性の下で、類似した定常性を保証する。
いずれの設定においても、これらの保証は確率的勾配に拡張され、解析された手法に対して一定の局所的なステップサイズで下界が一致することが証明される。
また、部分的な参加の下では、同一のクライアントでさえ、追加のローカルステップによる完全なコミュニケーション利益を得る必要がないことも示している。
関連論文リスト
- Personalized Projected Ascent for Federated Stackelberg Optimization [4.445113167164494]
Minimaxの問題には、各クライアントのローカルデータから構築された内部変数が含まれる。
本稿では,2時間体制下でのドリフトの消失により,一定の分散が置き換えられるプライベート変数の昇華ステップを取り入れたVR-SGDAを提案する。
論文 参考訳（メタデータ） (2026-10-15T05:41:08Z) - Scaling-Score Conformal Prediction for Multi-Target Regression [0.42970700836450476]
マルチターゲット回帰は、複数の関連する出力を同時に予測するモデルを必要とする。
モデルに依存しないスケーリングスコアコンフォメーション法(コンポーネント単位の絶対残差のみを要求する)を提案する。
論文 参考訳（メタデータ） (2026-09-15T12:23:57Z) - Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。
本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。
本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
論文 参考訳（メタデータ） (2026-07-14T02:08:33Z) - Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
論文 参考訳（メタデータ） (2025-06-30T13:27:39Z) - Constant Stepsize Local GD for Logistic Regression: Acceleration by Instability [13.332982107151434]
我々は,任意の段数 $eta > 0$ を用いて,分離可能な異種データを用いたロジスティック回帰のための局所勾配 Descent の解析を行った。
我々の分析は、非常に大きなステップサイズによって不安定が引き起こされる、citewu2024largeの単一マシン解析と並行して行われる。
論文 参考訳（メタデータ） (2025-06-16T20:29:00Z) - From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。
実現可能な最小二乗の設定において、新しい最上界を創出する。
我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文 参考訳（メタデータ） (2025-04-06T18:39:45Z) - Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。
提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-25T16:38:53Z) - $\texttt{FedBC}$: Calibrating Global and Local Models via Federated
Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。
本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。
私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文 参考訳（メタデータ） (2022-06-22T02:42:04Z) - Sharper Rates and Flexible Framework for Nonconvex SGD with Client and
Data Sampling [64.31011847952006]
我々は、平均$n$スムーズでおそらくは非カラー関数のほぼ定常点を求める問題を再考する。
我々は$smallsfcolorgreen$を一般化し、事実上あらゆるサンプリングメカニズムで確実に動作するようにします。
我々は、スムーズな非カラー状態における最適境界の最も一般的な、最も正確な解析を提供する。
論文 参考訳（メタデータ） (2022-06-05T21:32:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。