論文の概要: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
- arxiv url: http://arxiv.org/abs/2606.22466v1
- Date: Sun, 21 Jun 2026 12:18:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 18:08:34.003069
- Title: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
- Title（参考訳）: 重み付き勾配雑音と通信雑音によるフェデレーション学習:分散還元に基づくアルゴリズム
- Authors: Shengchao Zhao, Yongchao Liu,
- Abstract要約: Federated Learning(FL)は、データ分散とプライベートを維持しながら、ローカルデバイスがグローバルモデルを共同でトレーニングすることを可能にする、新興の分散機械学習パラダイムである。
我々は,無線モノのインターネット上での通信ノイズの重畳状況において,FLのための凸尾型ノイズ低減アルゴリズムであるVRA-FedSGDを提案する。
VRA-FedSGDは、重い通信ノイズを抑制するために、運動量削減と還元還元集約機構を利用する。
- 参考スコア（独自算出の注目度）: 7.852384021898989
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is an emerging distributed machine learning paradigm that enables local devices to jointly train a global model while keeping data decentralized and private. We propose a variance-reduction based algorithm, VRA-FedSGD, for FL in the presence of heavy-tailed gradient noise and communication noise, where these noises are prevalent in large-scale machine learning over wireless networks and Internet of Things deployments. VRA-FedSGD employs a momentum variance reduction technique together with a nonlinear mapping to mitigate heavy-tailed gradient noise, and uses a variance-reduced aggregation mechanism to suppress heavy-tailed communication noise. In the mean sense, VRA-FedSGD achieves a convergence rate of {\small$\mathcal{O}\left(K^{-(p-1)/(2p-1)}\right)$} for nonconvex objective functions, where $p$ is the tail index of heavy-tailed noise. In the almost sure sense, VRA-FedSGD achieves a convergence rate of $\tilde{\mathcal{O}}\left(K^{-(1-1/(p-ε))}\right)$ for strongly convex objective functions, where $ε$ is an arbitrarily small constant. Simulated experiments on a logistic regression problem with real-world data verify the effectiveness of VRA-FedSGD.
- Abstract（参考訳）: Federated Learning(FL)は、データ分散とプライベートを維持しながら、ローカルデバイスがグローバルモデルを共同でトレーニングすることを可能にする、新興の分散機械学習パラダイムである。
本稿では,無線ネットワーク上の大規模機械学習やIoTデプロイメントにおいて,重み付き勾配雑音や通信雑音の存在下でのFLのための分散推論に基づくアルゴリズムVRA-FedSGDを提案する。
VRA-FedSGDは、重み付き勾配雑音を緩和するために非線形マッピングとともに運動量分散低減技術を採用し、重み付き通信雑音を抑制するために分散還元凝集機構を用いる。
平均的な意味では、VRA-FedSGD は非凸対象関数に対して {\small$\mathcal{O}\left(K^{-(p-1)/(2p-1)}\right)$} の収束率を達成する。
ほぼ確実な意味では、VRA-FedSGD は強凸対象関数に対して $\tilde{\mathcal{O}}\left(K^{-(1-1/(p-ε))}\right)$ の収束率を達成する。
実世界のデータを用いたロジスティック回帰問題のシミュレーション実験により,VRA-FedSGDの有効性が検証された。
関連論文リスト
- FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。
また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。
我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
論文 参考訳（メタデータ） (2025-02-07T15:57:56Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a
Decoupled Decoder [0.553073476964056]
VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。
本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。
本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
論文 参考訳（メタデータ） (2022-09-29T13:49:57Z) - Offline Reinforcement Learning at Multiple Frequencies [62.08749079914275]
本研究では、オフライン強化学習アルゴリズムが、トレーニング中に複数の周波数を混合したデータに対応できるかどうかについて検討する。
学習を安定させるために$Q$-valueの更新率で一貫性を強制する、単純だが効果的なソリューションを提案する。
論文 参考訳（メタデータ） (2022-07-26T17:54:49Z) - An Improved Analysis of Gradient Tracking for Decentralized Machine
Learning [34.144764431505486]
トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。
エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。
ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
論文 参考訳（メタデータ） (2022-02-08T12:58:14Z) - On Convergence of Federated Averaging Langevin Dynamics [22.013125418713763]
本稿では,分散クライアントを用いた不確実性定量化と平均予測のための平均ランゲヴィンアルゴリズム(FA-LD)を提案する。
非可解データを用いた強対数分布に対するFA-LDの理論的保証を開発する。
部分的なデバイス更新のみが可能な,さまざまな平均化スキームに基づく収束結果を示す。
論文 参考訳（メタデータ） (2021-12-09T18:54:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。