論文の概要: Communication-Efficient Agnostic Federated Learning via Faster Convergence and Compression
- arxiv url: http://arxiv.org/abs/2609.36610v1
- Date: Tue, 29 Sep 2026 03:26:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 04:28:51.335268
- Title: Communication-Efficient Agnostic Federated Learning via Faster Convergence and Compression
- Title（参考訳）: より高速な収束と圧縮によるコミュニケーション効率の良いAgnostic Federated Learning
- Abstract要約: アグノスティック・フェデレーション・ラーニング(AFL)は、不均一な労働者に対して$m$$で確実に機能するモデルを模索している。
我々は,高速収束による同期ラウンド数と圧縮によるラウンド当たりの通信コストを削減し,通信効率を向上させる。
- 参考スコア（独自算出の注目度）: 18.509077713934207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agnostic federated learning (AFL) seeks a model that performs reliably across $m$ heterogeneous workers, but communication remains a bottleneck. We improve communication efficiency by reducing the number of synchronization rounds via faster convergence and the communication cost per round via compression. We first propose AFL-BR, which updates the dual weights over workers using online mirror ascent with KL divergence and blockwise restarts. It achieves an $O((\log m)^{1/4}T^{-1/8})$ stationarity rate after $T$ update rounds, reducing the $m$-dependence of the synchronization rounds required for convergence from polynomial to logarithmic order. Building on AFL-BR, we develop AFL-Com by applying bidirectional compression with error feedback (EF). Instead of compressing local gradients, workers apply EF to their dual-weighted gradients, enabling direct control of the aggregated compression error under time-varying weights. We then establish an $O((δ^{-1}+(\log m)^{1/4})T^{-1/8})$ stationarity rate for AFL-Com under general $δ$-approximate compressors and improve the $δ$-dependence from $δ^{-1}$ to $δ^{-1/2}$ for additive-and-idempotent compressors with shared randomness (SR). With suitable compression levels, AFL-Com retains the same convergence rate as AFL-BR at a lower per-round communication cost, yielding reductions in total communication complexity by factors of $(\log m)^{1/4}$ with Top-$k$ and $(\log m)^{1/2}$ with Rand-$k$ and SR. Experiments validate the improved synchronization and communication efficiency of our methods.
- Abstract（参考訳）: アグノスティック・フェデレーション・ラーニング(AFL)は、$m$の異種労働者に対して確実に機能するモデルを模索するが、通信はボトルネックのままである。
我々は,高速収束による同期ラウンド数と圧縮によるラウンド当たりの通信コストを削減し,通信効率を向上させる。
我々はまず,KLの分散とブロックワイド再起動を伴うオンラインミラーアップを用いて,労働者の重み付けを2倍に更新するAFL-BRを提案する。
これは$O((\log m)^{1/4}T^{-1/8})$固定率を$T$更新ラウンド後に達成し、多項式から対数順への収束に必要な同期ラウンドの$m$依存性を減少させる。
AFL-BR上に構築したAFL-Comは,誤差フィードバックを用いた双方向圧縮(EF)を用いて開発する。
局所的な勾配を圧縮する代わりに、作業者はEFを二重重み付け勾配に適用し、時間変動重みの下で集約された圧縮誤差を直接制御できる。
次に、一般的な$δ$-approximate compressor の下で AFL-Com の固定率を$O((δ^{-1}+(\log m)^{1/4})T^{-1/8})$で設定し、共有ランダム性(SR)を持つ加法・イデミネーション圧縮器に対して$δ$-dependence を $δ^{-1}$から $δ^{-1/2}$に改善する。
適切な圧縮レベルにおいて、AFL-ComはAFL-BRと同じ収束率を維持し、Rand-$k$とSRで$(\log m)^{1/4}$、Top-$k$と$(\log m)^{1/2}$で$(\log m)^{1/2}$の合計通信複雑性を減少させる。
提案手法の同期と通信効率の向上を実験により検証した。
関連論文リスト
- Scaling Federated Linear Contextual Bandits via Sketching [49.12000877146222]
本稿では,FSCLB(Federated Sketch Contextual Linear Bandits)を提案する。
合成と実世界の両方のデータセットの実験では、FSCLBは計算と通信のコストを90%以上削減している。
論文 参考訳（メタデータ） (2026-05-01T08:22:06Z) - Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
論文 参考訳（メタデータ） (2025-06-30T13:27:39Z) - $γ$-FedHT: Stepsize-Aware Hard-Threshold Gradient Compression in Federated Learning [15.458263187587097]
グラディエント圧縮は、フェデレートラーニング(FL)におけるボトルネックを効果的に緩和する
Error-Feedbackの基本的会話を紹介する。
我々は、$gamma$-FedHTがTop-k$よりも7.42%$まで精度を向上することを示した。
論文 参考訳（メタデータ） (2025-05-18T15:55:50Z) - Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。
既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。
DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
論文 参考訳（メタデータ） (2023-02-08T14:37:34Z) - Sharper Convergence Guarantees for Asynchronous SGD for Distributed and
Federated Learning [77.22019100456595]
通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。
本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。
また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
論文 参考訳（メタデータ） (2022-06-16T17:10:57Z) - Faster Rates for Compressed Federated Learning with Client-Variance
Reduction [23.169998435268504]
我々はCOFIGとFRECONが$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束していることを示す。
凸設定では、COFIGは$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束する。
論文 参考訳（メタデータ） (2021-12-24T16:28:18Z) - Permutation Compressors for Provably Faster Distributed Nonconvex
Optimization [68.8204255655161]
本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。
MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
論文 参考訳（メタデータ） (2021-10-07T09:38:15Z) - Fundamental limits of over-the-air optimization: Are analog schemes
optimal? [23.71982686172067]
その結果,SNR の低値に対して$sqrtd$ の係数で収束速度が低下することがわかった。
注目すべきは、$Amplitude$$Shift$$Keying$を使用し、ほぼすべてのSNRにおける最適収束率を達成する単純な量子化・変調スキームを示すことである。
論文 参考訳（メタデータ） (2021-09-11T08:50:24Z) - CFedAvg: Achieving Efficient Communication and Fast Convergence in
Non-IID Federated Learning [8.702106020664612]
フェデレートラーニング(Federated Learning, FL)は、多くの労働者がトレーニングデータを共有せずにモデルを共同で学習する分散ラーニングパラダイムである。
FLでは、ディープラーニング(ディープ)学習モデルと帯域幅接続によって高い通信コストが発生する可能性がある。
本研究では,非バイアスのSNR制約圧縮機を用いたFL用分散通信データセットCFedAvgを紹介する。
論文 参考訳（メタデータ） (2021-06-14T04:27:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。