Fugu-MT 論文翻訳(概要): Refined Analysis of Federated Averaging's Bias and Federated Richardson-Romberg Extrapolation

論文の概要: Refined Analysis of Federated Averaging's Bias and Federated Richardson-Romberg Extrapolation

arxiv url: http://arxiv.org/abs/2412.01389v1
Date: Mon, 02 Dec 2024 11:22:19 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-04 15:48:15.646075
Title: Refined Analysis of Federated Averaging's Bias and Federated Richardson-Romberg Extrapolation
Title（参考訳）: Federated Averaging's BiasとFederated Richardson-Romberg外挿の精製解析
Authors: Paul Mangold, Alain Durmus, Aymeric Dieuleveut, Sergey Samsonov, Eric Moulines,
Abstract要約: 本稿では,FedAvgのステップサイズを一定とし,基礎となるプロセスのマルコフ特性に依存する新しい解析法を提案する。等質な条件と異質な条件の両方において、バイアスの1次展開を提供する。このバイアスを軽減するために,Richardson-Romberg外挿法に基づく新しいアルゴリズムを導入する。
参考スコア（独自算出の注目度）: 29.9008508521796
License:
Abstract: In this paper, we present a novel analysis of FedAvg with constant step size, relying on the Markov property of the underlying process. We demonstrate that the global iterates of the algorithm converge to a stationary distribution and analyze its resulting bias and variance relative to the problem's solution. We provide a first-order expansion of the bias in both homogeneous and heterogeneous settings. Interestingly, this bias decomposes into two distinct components: one that depends solely on stochastic gradient noise and another on client heterogeneity. Finally, we introduce a new algorithm based on the Richardson-Romberg extrapolation technique to mitigate this bias.
Abstract（参考訳）: 本稿では,FedAvgのステップサイズを一定とし,基礎となるプロセスのマルコフ特性に依存する新しい解析法を提案する。アルゴリズムのグローバルな反復が定常分布に収束し、問題の解に対するバイアスと分散を解析できることを実証する。等質な条件と異質な条件の両方において、バイアスの1次展開を提供する。興味深いことに、このバイアスは、確率的勾配ノイズにのみ依存するコンポーネントと、クライアントの不均一性にのみ依存するコンポーネントに分解される。最後に、このバイアスを軽減するために、Richardson-Romberg外挿法に基づく新しいアルゴリズムを導入する。

関連論文リスト

Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文参考訳（メタデータ） (2024-10-22T10:19:27Z)
Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
ステップサイズが一定となる勾配勾配(SGD)アルゴリズムを用いて, 強い凸と滑らかな問題を解く問題に対処する。得られた推定子の平均二乗誤差を$n$の反復数に対して拡張する。我々は、この鎖が定義された重み付きワッサーシュタイン半計量に関して幾何学的にエルゴード的であることを確証する。
論文参考訳（メタデータ） (2024-10-07T15:02:48Z)
Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
論文参考訳（メタデータ） (2023-10-12T10:56:25Z)
Compressed and distributed least-squares regression: convergence rates with applications to Federated Learning [9.31522898261934]
機械学習の勾配アルゴリズムに対する圧縮の影響について検討する。いくつかの非バイアス圧縮演算子間の収束率の差を強調した。我々はその結果を連合学習の事例にまで拡張する。
論文参考訳（メタデータ） (2023-08-02T18:02:00Z)
Stochastic Methods in Variational Inequalities: Ergodicity, Bias and Refinements [19.524063429548278]
Extragradient (SEG) と Gradient Descent Ascent (SGDA) は min-max 最適化と変分不等式問題に対する優越アルゴリズムである。これらのアルゴリズムに固有の本質的な構造を定量化し定量化するための我々の取り組み。定数のステップサイズSEG/SGDAを時間同質マルコフ連鎖として再キャストすることにより、大数の第一種法則と中心極限定理を確立する。
論文参考訳（メタデータ） (2023-06-28T18:50:07Z)
Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
論文参考訳（メタデータ） (2023-03-06T18:59:19Z)
Resolving the Mixing Time of the Langevin Algorithm to its Stationary Distribution for Log-Concave Sampling [34.66940399825547]
本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
論文参考訳（メタデータ） (2022-10-16T05:11:16Z)
Bias and Extrapolation in Markovian Linear Stochastic Approximation with Constant Stepsizes [9.689344942945652]
定常的なステップサイズとマルコフデータを持つ線形近似(LSA)を考える。この極限のバイアスベクトルは、ステップサイズに関して無限級数展開を持つことを示す。リチャードソン・ロームバーグ外挿法と$mge 2$ stepsizes を用いてバイアスを低減できることが示される。
論文参考訳（メタデータ） (2022-10-03T14:11:03Z)
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文参考訳（メタデータ） (2021-12-29T18:46:52Z)
On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文参考訳（メタデータ） (2021-06-30T17:51:36Z)
Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
論文参考訳（メタデータ） (2020-06-11T19:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。