論文の概要: Robust Federated Learning Over the Air: Combating Heavy-Tailed Noise with Median Anchored Clipping

• arxiv url: http://arxiv.org/abs/2409.15100v4
• Date: Tue, 21 Jan 2025 10:00:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:49.338288
• Title: Robust Federated Learning Over the Air: Combating Heavy-Tailed Noise with Median Anchored Clipping
• Title（参考訳）: 強烈な音を鳴らして音を流す「Federated Learning Over the Air」
• Authors: Jiaxing Li, Zihan Chen, Kai Fong Ernest Chong, Bikramjit Das, Tony Q. S. Quek, Howard H. Yang,
• Abstract要約: 重み付き雑音による有害な影響に対処するため,メディアアンコールド・クリッピング (MAC) と呼ばれる新しい勾配クリッピング法を提案する。 また、MAC下でのアナログオーバー・ザ・エア・フェデレーション学習によるモデルトレーニングの収束率の解析式も導出する。
• 参考スコア（独自算出の注目度）: 57.40251549664762
• License:
• Abstract: Leveraging over-the-air computations for model aggregation is an effective approach to cope with the communication bottleneck in federated edge learning. By exploiting the superposition properties of multi-access channels, this approach facilitates an integrated design of communication and computation, thereby enhancing system privacy while reducing implementation costs. However, the inherent electromagnetic interference in radio channels often exhibits heavy-tailed distributions, giving rise to exceptionally strong noise in globally aggregated gradients that can significantly deteriorate the training performance. To address this issue, we propose a novel gradient clipping method, termed Median Anchored Clipping (MAC), to combat the detrimental effects of heavy-tailed noise. We also derive analytical expressions for the convergence rate of model training with analog over-the-air federated learning under MAC, which quantitatively demonstrates the effect of MAC on training performance. Extensive experimental results show that the proposed MAC algorithm effectively mitigates the impact of heavy-tailed noise, hence substantially enhancing system robustness.
• Abstract（参考訳）: モデルアグリゲーションのためのオーバー・ザ・エアの計算を活用することは、フェデレートされたエッジ学習における通信ボトルネックに対処するための効果的なアプローチである。 マルチアクセスチャネルの重ね合わせ特性を利用することで、通信と計算の統合設計を容易にし、実装コストを低減しつつシステムのプライバシを向上させる。 しかし、電波チャネルの固有の電磁波干渉は、しばしば重尾分布を示し、グローバルに集約された勾配において非常に強いノイズを引き起こし、訓練性能を著しく低下させる。 この問題に対処するために,重音の有害な影響に対処するため,メディアアンコレッド・クリッピング (MAC) と呼ばれる新しい勾配クリッピング法を提案する。 また、MAC下でのアナログオーバーエアフェデレーション学習によるモデルトレーニングの収束率の解析式を導出し、MACがトレーニング性能に与える影響を定量的に示す。 実験結果から,提案手法は重み付き雑音の影響を効果的に軽減し,システムロバスト性を大幅に向上させることを示した。

関連論文リスト

• Disentangled Noisy Correspondence Learning [56.06801962154915]
  クロスモーダル検索は、モダリティ間の潜在対応を理解する上で重要である。 DisNCLはノイズ対応学習における特徴分散のための新しい情報理論フレームワークである。
  論文  参考訳（メタデータ） (2024-08-10T09:49:55Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Learning Cautiously in Federated Learning with Noisy and Heterogeneous Clients [4.782145666637457]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保証と協調トレーニングを行う分散フレームワークである。 実世界のシナリオでは、クライアントはアノテーションの品質(ラベルノイズ)が低い非IIDデータ(ローカルクラス不均衡)を持つかもしれない。 我々は、追加のクリーンプロキシデータセットを使わずにFedCNIを提案する。 これには、耐雑音性のある局所解法と、ロバストなグローバルアグリゲータが含まれる。
  論文  参考訳（メタデータ） (2023-04-06T06:47:14Z)
• Per-Example Gradient Regularization Improves Learning Signals from Noisy Data [25.646054298195434]
  実験的な証拠は、勾配正則化技術は、ノイズの多い摂動に対するディープラーニングモデルの堅牢性を著しく向上させることができることを示唆している。 本稿では,騒音摂動に対する試験誤差とロバスト性の両方を改善することの有効性を理論的に示す。 解析の結果,PEGRはパターン学習の分散をペナルティ化し,学習データからの雑音の記憶を効果的に抑制することがわかった。
  論文  参考訳（メタデータ） (2023-03-31T10:08:23Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Accelerated Gradient Descent Learning over Multiple Access Fading Channels [9.840290491547162]
  N分散エッジデバイスとパラメータサーバ(PS)からなる無線ネットワークにおける分散学習問題を考える。 そこで我々は, ノイズフェージングMAC上での運動量に基づく勾配信号を用いて, 既存の手法と比較して収束率を向上する, 高速勾配多重アクセス(AGMA)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-26T19:51:40Z)
• Learning to Generate Noise for Multi-Attack Robustness [126.23656251512762]
  対人学習は、対人摂動に対する既存の方法の感受性を回避できる手法の1つとして登場した。 安全クリティカルなアプリケーションでは、攻撃者は様々な敵を採用してシステムを騙すことができるため、これらの手法は極端に便利である。 本稿では,複数種類の攻撃に対するモデルの堅牢性を改善するために,ノイズ発生を明示的に学習するメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T10:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。