論文の概要: FedeRage: Provably Convergent Agnostic Federated Learning under General Client Drift
- arxiv url: http://arxiv.org/abs/2609.21057v1
- Date: Thu, 17 Sep 2026 20:25:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.768982
- Title: FedeRage: Provably Convergent Agnostic Federated Learning under General Client Drift
- Title(参考訳): FedeRage: 一般的なクライアントのドリフト下での,アグノスティックなフェデレーション学習の収束
- Abstract要約: textscFedeRageは暗黙的にハイロスと非頻繁なクライアントをアップウェイトし、クライアント毎のEmphsingleのみを追加し、$mathcalO(/sqrtT)$ rateを認めます。
3つの異種ベンチマークの実験は、精度、公正性、収束速度における最先端手法に対する一貫した改善を示している。
- 参考スコア(独自算出の注目度): 2.005299372367689
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) enables collaborative model training without sharing raw data, but its performance degrades under non-IID data and stochastic client participation. Remedies built on classical Federated Averaging (FedAvg) typically presuppose that client participation probabilities are known to the server, which is rarely the case in deployed systems. We first discuss and then characterize the optimization problem that \emph{distributionally agnostic} FedAvg actually solves when participation is entirely unknown, possibly highly skewed, and of variable size across rounds: uniform aggregation is shown to minimize a well-defined stochastic objective, weighted by the participation-induced marginal, at a standard $\mathcal{O}(1/\sqrt{T})$ rate for convex and possibly nonsmooth losses. Building on this characterization, we propose \emph{Federated Risk-Averse Averaging} (\textsc{FedeRage}), a risk-averse extension of FedAvg that embeds the \emph{Conditional Value-at-Risk} (CVaR) into the local objective within a natural distributionally robust optimization (DRO) framework. \textsc{FedeRage} implicitly upweights high-loss and infrequently participating clients while adding only a \emph{single scalar per-client}, and admits an $\mathcal{O}(κ/\sqrt{T})$ rate in which the factor $κ$ is the upper bound on the ``price" of risk aversion. In contrast with aggregation-alignment schemes based on optimal transport, which require the availability distribution as an input, \textsc{FedeRage} remains agnostic to it. Several experiments on three heterogeneous benchmarks indicate consistent improvements over state-of-the-art methods in accuracy, fairness, and convergence speed.
- Abstract(参考訳): フェデレートラーニング(FL)は、生データを共有せずに協調的なモデルトレーニングを可能にするが、その性能は非IIDデータと確率的クライアント参加の下で低下する。
古典的なフェデレーション平均化(FedAvg)に基づく改善は、通常、クライアントの参加確率がサーバに知られていることを前提とします。
統一アグリゲーションは、標準の$\mathcal{O}(1/\sqrt{T})$ rate for convex and maybe nonsmooth lossにおいて、参加が完全に不明で、おそらくは高い歪みがあり、ラウンド全体にわたる可変サイズであるとき、実際にフェデフが解決する最適化問題を議論し、特徴付ける。
本稿では,FedAvg のリスク・アバース拡張である \emph{Federated Risk-Averse Averaging} (\textsc{FedeRage}) を提案する。
そして$\mathcal{O}(κ/\sqrt{T})$ rateがあり、$κ$ はリスク回避の ``price' の上限である。
入力として可用性分布を必要とする最適輸送に基づくアグリゲーションアライメントスキームとは対照的に、 \textsc{FedeRage} はそれとは無関係である。
3つの異種ベンチマークに関するいくつかの実験は、精度、公平性、収束速度における最先端の手法に対する一貫した改善を示している。
関連論文リスト
- Dimensionality Reduction for Robust Federated Learning: A Theoretical Analysis and Convergence Guarantee [14.954293251332894]
Federated Learning (FL)は、クライアントが生データを共有せずにモデルを協調的にトレーニングすることを可能にするが、ビザンティン攻撃に対して非常に脆弱である。
既存の堅牢なアプローチはこれらの脅威を中和するが、かなりの計算オーバーヘッドを発生させる。
ベクトルレベル距離に基づくロバストアグリゲータのための普遍加速度フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-27T11:39:47Z) - Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。
グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。
これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。
Byz-Clip21-SGD2Mを提案する。
論文 参考訳(メタデータ) (2026-03-24T17:39:09Z) - Improved High-probability Convergence Guarantees of Decentralized SGD [74.39742894097348]
平均二乗誤差(MSE)と同じ条件下で,$mathttDSGD$がHPに収束することを示す。
改良された分析によりユーザ数が線形アップし,$mathttDSGD$がHPの意味で性能を維持していることを示す。
論文 参考訳(メタデータ) (2025-10-07T17:15:08Z) - FedAVOT: Exact Distribution Alignment in Federated Learning via Masked Optimal Transport [1.7842332554022688]
フェデレートラーニング(FL)は、生データを共有せずに分散モデルのトレーニングを可能にするが、クライアントの参加が部分的である場合に悩む。
マスク付き最適輸送問題としてアグリゲーションを定式化する textbfFedAVOT を提案する。
実験の結果,FedAvgが不均一性,公平性に敏感で,低可用性のシステムにまたがる性能は,FedAvgに比べて大幅に向上した。
論文 参考訳(メタデータ) (2025-09-17T21:35:16Z) - Convergence of Agnostic Federated Averaging [0.0]
フェデレートラーニング(FL)は、生データを集中化せずに、分散モデルトレーニングを可能にする。
クライアントは、サーバアグリゲーションに断続的に参加し、未知の、おそらくバイアスのある参加確率で参加する。
論文 参考訳(メタデータ) (2025-07-14T14:32:46Z) - Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [1.9766522384767224]
underlineAsynchunderlineRonous underlineExact underlineAveraging (textscAREA)
textscAREAは勾配推定よりもモデル残差を通信し、勾配反転への露出を減らす。
最初は、最低または最大ではなく、平均的なクライアント更新頻度でスケールするレートを取得しました。
論文 参考訳(メタデータ) (2024-05-16T14:22:49Z) - FedSpeed: Larger Local Interval, Less Communication Round, and Higher
Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。
これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。
本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文 参考訳(メタデータ) (2023-02-21T03:55:29Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳(メタデータ) (2020-12-07T21:05:31Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳(メタデータ) (2020-06-29T21:06:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。