論文の概要: SA-PEF: Step-Ahead Partial Error Feedback for Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2601.20738v1
• Date: Wed, 28 Jan 2026 16:10:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:07.015156
• Title: SA-PEF: Step-Ahead Partial Error Feedback for Efficient Federated Learning
• Title（参考訳）: SA-PEF: 効率的なフェデレーション学習のためのステップアヘッド部分誤差フィードバック
• Authors: Dawit Kiros Redie, Reza Arablouei, Stefan Werner,
• Abstract要約: 誤りフィードバック(EF)を用いたバイアス圧縮は、フェデレートラーニング(FL)におけるコミュニケーションを減少させる ステップアヘッド部分誤差フィードバック(SA-F)を提案する。 さまざまなアーキテクチャとデータセットにわたる実験では、SAPEFがEFよりも高速に目標精度に達することが示されている。
• 参考スコア（独自算出の注目度）: 5.301357543959518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biased gradient compression with error feedback (EF) reduces communication in federated learning (FL), but under non-IID data, the residual error can decay slowly, causing gradient mismatch and stalled progress in the early rounds. We propose step-ahead partial error feedback (SA-PEF), which integrates step-ahead (SA) correction with partial error feedback (PEF). SA-PEF recovers EF when the step-ahead coefficient $α=0$ and step-ahead EF (SAEF) when $α=1$. For non-convex objectives and $δ$-contractive compressors, we establish a second-moment bound and a residual recursion that guarantee convergence to stationarity under heterogeneous data and partial client participation. The resulting rates match standard non-convex Fed-SGD guarantees up to constant factors, achieving $O((η,η_0TR)^{-1})$ convergence to a variance/heterogeneity floor with a fixed inner step size. Our analysis reveals a step-ahead-controlled residual contraction $ρ_r$ that explains the observed acceleration in the early training phase. To balance SAEF's rapid warm-up with EF's long-term stability, we select $α$ near its theory-predicted optimum. Experiments across diverse architectures and datasets show that SA-PEF consistently reaches target accuracy faster than EF.
• Abstract（参考訳）: 誤差フィードバック(EF)によるバイアス勾配圧縮は、フェデレート学習(FL)における通信を減少させるが、非IIDデータでは、残差は緩やかに減衰し、初期ラウンドでは勾配ミスマッチや進行が停滞する。 ステップアヘッド(SA)補正と部分誤差フィードバック(PEF)を統合したステップアヘッド部分誤差フィードバック(SA-PEF)を提案する。 SA-PEFは、ステップアヘッド係数$α=0$とステップアヘッドEF(SAEF)が$α=1$のときにEFを回復する。 非凸目的および$δ$-contractive 圧縮機に対して、不均一なデータと部分的クライアントの参加による定常性への収束を保証する第2モーメント境界と残留再帰を確立する。 結果として得られるレートは標準の非凸Fed-SGDと一致し、一定の内部ステップサイズを持つ分散/異質性フロアへの$O((η,η_0TR)^{-1})$収束が保証される。 本研究は, 初期訓練段階における観測加速度を記述したステップアヘッド制御残留収縮$ρ_r$を明らかにする。 SAEFの急激なウォームアップとEFの長期安定のバランスをとるために、理論予測された最適値に近い$αを選定する。 さまざまなアーキテクチャやデータセットに対する実験では、SA-PEFがEFよりも高速に目標精度に達することが示されている。

関連論文リスト

• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• A Unified Analysis for Finite Weight Averaging [50.75116992029417]
  Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。 本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
  論文  参考訳（メタデータ） (2024-11-20T10:08:22Z)
• Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients [27.433334322019675]
  Federated Learning (FL)は、クライアントが生データを共有せずに、協力的にモデルをトレーニングすることを可能にする。 FLはByzantine攻撃やデータ不均一性の反復に弱いため、パフォーマンスが著しく低下する可能性がある。 フェデレート正規化勾配アルゴリズム (Federated Normalized Gradients Algorithm, NGA) を提案する。 既存手法に対するベンチマーク収束の実験結果
  論文  参考訳（メタデータ） (2024-08-18T16:50:39Z)
• Federated Learning Resilient to Byzantine Attacks and Data Heterogeneity [59.17297282373628]
  本稿では、データに対する悪意ある攻撃の文脈におけるグラディエント学習(FL)について述べる。 本稿では,収束解析と損失関数の中央値を用いた新しい平均ロバストアルゴリズム(RAGA)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Analysis of Error Feedback in Federated Non-Convex Optimization with Biased Compression [37.6593006747285]
  学習サーバ(FL)システムでは、クライアントと中心的ボトルネックの間の通信コストが高くなる。 本稿では,バイアス圧縮の欠点を解消する手法を提案する。 部分的な参加の下では、いわゆる「ストールエラー蓄積」効果により、余分なスローダウン係数が発達する。
  論文  参考訳（メタデータ） (2022-11-25T18:49:53Z)
• FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation [72.19198763459448]
  雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。 我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
  論文  参考訳（メタデータ） (2022-10-09T16:27:25Z)
• EF21 with Bells & Whistles: Six Algorithmic Extensions of Modern Error Feedback [65.60461294185853]
  本稿では, 圧縮機により誘導されるマルコフ圧縮機の構成に基づく新しい誤差フィードバック機構EF21を提案する。 これらの技法のいくつかはEF21と組み合わせて分析されていない。
  論文  参考訳（メタデータ） (2021-10-07T09:29:14Z)
• EF21: A New, Simpler, Theoretically Better, and Practically Faster Error Feedback [0.0]
  エラーフィードバック(EF)は、教師付き機械学習の分散トレーニングの文脈において、非常に一般的な安定化メカニズムである。 我々はEF21と呼ばれる新しいEFメカニズムを提案し,解析する。 特に、EF21が滑らかな非収束問題に対する高速なO(1/T)$収束率を享受していることを証明する。
  論文  参考訳（メタデータ） (2021-06-09T16:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。