Fugu-MT 論文翻訳(概要): $γ$-FedHT: Stepsize-Aware Hard-Threshold Gradient Compression in Federated Learning

論文の概要: $γ$-FedHT: Stepsize-Aware Hard-Threshold Gradient Compression in Federated Learning

arxiv url: http://arxiv.org/abs/2505.12479v1
Date: Sun, 18 May 2025 15:55:50 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-20 14:57:11.259036
Title: $γ$-FedHT: Stepsize-Aware Hard-Threshold Gradient Compression in Federated Learning
Title（参考訳）: $γ$-FedHT:フェデレートラーニングにおけるステップサイズ対応ハードディスクのグラディエント圧縮
Authors: Rongwei Lu, Yutong Jiang, Jinrui Zhang, Chunyang Li, Yifei Zhu, Bin Chen, Zhi Wang,
Abstract要約: グラディエント圧縮は、フェデレートラーニング(FL)におけるボトルネックを効果的に緩和する Error-Feedbackの基本的会話を紹介する。我々は、$gamma$-FedHTがTop-k$よりも7.42%$まで精度を向上することを示した。
参考スコア（独自算出の注目度）: 15.458263187587097
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gradient compression can effectively alleviate communication bottlenecks in Federated Learning (FL). Contemporary state-of-the-art sparse compressors, such as Top-$k$, exhibit high computational complexity, up to $\mathcal{O}(d\log_2{k})$, where $d$ is the number of model parameters. The hard-threshold compressor, which simply transmits elements with absolute values higher than a fixed threshold, is thus proposed to reduce the complexity to $\mathcal{O}(d)$. However, the hard-threshold compression causes accuracy degradation in FL, where the datasets are non-IID and the stepsize $\gamma$ is decreasing for model convergence. The decaying stepsize reduces the updates and causes the compression ratio of the hard-threshold compression to drop rapidly to an aggressive ratio. At or below this ratio, the model accuracy has been observed to degrade severely. To address this, we propose $\gamma$-FedHT, a stepsize-aware low-cost compressor with Error-Feedback to guarantee convergence. Given that the traditional theoretical framework of FL does not consider Error-Feedback, we introduce the fundamental conversation of Error-Feedback. We prove that $\gamma$-FedHT has the convergence rate of $\mathcal{O}(\frac{1}{T})$ ($T$ representing total training iterations) under $\mu$-strongly convex cases and $\mathcal{O}(\frac{1}{\sqrt{T}})$ under non-convex cases, \textit{same as FedAVG}. Extensive experiments demonstrate that $\gamma$-FedHT improves accuracy by up to $7.42\%$ over Top-$k$ under equal communication traffic on various non-IID image datasets.
Abstract（参考訳）: グラディエント圧縮は、フェデレートラーニング(FL)におけるコミュニケーションボトルネックを効果的に軽減することができる。現在最先端のスパース圧縮機であるTop-$k$は、$\mathcal{O}(d\log_2{k})$まで高い計算複雑性を示し、$d$はモデルパラメータの数である。固定しきい値よりも高い絶対値の要素を単に送信するハードスレッショルド圧縮機は、複雑さを$\mathcal{O}(d)$に減らすために提案される。しかし、ハードスレッショルド圧縮は、データセットが非IIDであり、ステップサイズ$\gamma$がモデル収束のために減少するFLの精度劣化を引き起こす。減衰段差は更新を減少させ、ハード閾値圧縮の圧縮比をアグレッシブ比に急速に低下させる。この比以下では、モデルの精度が著しく低下することが観測されている。これを解決するために,Error-Feedback を用いたステップサイズ対応の低コスト圧縮機である $\gamma$-FedHT を提案する。 FLの従来の理論的枠組みがエラーフィードバックを考慮していないことを考慮し、エラーフィードバックの基本的な議論を紹介する。我々は、$\gamma$-FedHT が $\mathcal{O}(\frac{1}{T})$$$(T$) の収束率を $\mu$-strongly convex の場合と $\mathcal{O}(\frac{1}{\sqrt{T}})$ の非凸の場合とすると証明する。大規模な実験により、$\gamma$-FedHTはTop-$k$よりも7.42\%$まで精度を向上することを示した。

関連論文リスト

(Accelerated) Noise-adaptive Stochastic Heavy-Ball Momentum [7.095058159492494]
ヘビーボール運動量(SHB)は、機械学習モデルのトレーニングに一般的に用いられ、勾配降下の反復よりも経験的な改善を提供することが多い。 SHB は小サイズが $kappa の閾値 $b* よりも大きい場合に加速できることを示す。
論文参考訳（メタデータ） (2024-01-12T18:17:28Z)
Settling the Sample Complexity of Online Reinforcement Learning [92.02082223856479]
バーンインコストを発生させることなく、最小限の最適後悔を実現する方法を示す。最適値/コストや一定の分散といった問題依存量の影響を明らかにするために、我々の理論を拡張します。
論文参考訳（メタデータ） (2023-07-25T15:42:11Z)
Learning Low-Rank Representations for Model Compression [6.721845345130468]
本稿では,従来のVQアルゴリズムを様々なタスクやアーキテクチャで上回る低ランク表現ベクトル量子化(textLR2textVQ$)手法を提案する。本手法では,圧縮率を直接$m$で制御することができ,最終的な精度は$tilded$で決定される。適切な$tilded$で、ImageNet分類データセット上でResNet-18/ResNet-50で$textLR2textVQ$を評価します。
論文参考訳（メタデータ） (2022-11-21T12:15:28Z)
Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。連続的な制御環境では、壁時計の時間を最大50%削減することができる。
論文参考訳（メタデータ） (2022-06-02T17:27:49Z)
Stochastic Gradient Methods with Compressed Communication for Decentralized Saddle Point Problems [0.0]
圧縮に基づく勾配アルゴリズムを2つ開発し,非滑らかな凸凸の強い凹凸点問題のクラスを解く。最初のアルゴリズムは、一般的な設定のための圧縮(C-RDPSG)を用いたRestartベースの分散近似勾配法である。次に,有限和設定のための圧縮 (C-DPSVRG) を用いた分散近似変数低減勾配アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-28T15:17:19Z)
Settling the Sample Complexity of Model-Based Offline Reinforcement Learning [50.5790774201146]
オフライン強化学習(RL)は、事前収集されたデータを用いて、さらなる探索を行わずに学習する。事前のアルゴリズムや分析は、最適なサンプルの複雑さに悩まされるか、サンプルの最適性に到達するために高いバーンインコストがかかるかのいずれかである。モデルベース(あるいは"プラグイン")アプローチは,バーンインコストを伴わずに,最小限のサンプル複雑性を実現することを実証する。
論文参考訳（メタデータ） (2022-04-11T17:26:19Z)
Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
論文参考訳（メタデータ） (2021-10-07T09:38:15Z)
Rethinking gradient sparsification as total error minimization [0.0]
分散トレーニングネットワーク(DNN)における通信ボトルネックに対処する手段として,グラディエント圧縮が広く確立されている。我々は、特にDNNにとって、勾配スペーシフィケーションの利点は必要であると主張する。
論文参考訳（メタデータ） (2021-08-02T14:52:42Z)
CFedAvg: Achieving Efficient Communication and Fast Convergence in Non-IID Federated Learning [8.702106020664612]
フェデレートラーニング(Federated Learning, FL)は、多くの労働者がトレーニングデータを共有せずにモデルを共同で学習する分散ラーニングパラダイムである。 FLでは、ディープラーニング(ディープ)学習モデルと帯域幅接続によって高い通信コストが発生する可能性がある。本研究では,非バイアスのSNR制約圧縮機を用いたFL用分散通信データセットCFedAvgを紹介する。
論文参考訳（メタデータ） (2021-06-14T04:27:19Z)
Hybrid Stochastic-Deterministic Minibatch Proximal Gradient: Less-Than-Single-Pass Optimization with Nearly Optimal Generalization [83.80460802169999]
HSDMPGは、学習モデル上で過大なエラーの順序である$mathcalObig(1/sttnbig)$を達成可能であることを示す。損失係数について、HSDMPGは学習モデル上で過大なエラーの順序である$mathcalObig(1/sttnbig)$を達成できることを示す。
論文参考訳（メタデータ） (2020-09-18T02:18:44Z)
Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文参考訳（メタデータ） (2020-06-04T17:51:00Z)
On Biased Compression for Distributed Learning [55.89300593805943]
バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
論文参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。