論文の概要: Adaptive Gradient Clipping for Robust Federated Learning

• arxiv url: http://arxiv.org/abs/2405.14432v5
• Date: Fri, 09 May 2025 07:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:09.936265
• Title: Adaptive Gradient Clipping for Robust Federated Learning
• Title（参考訳）: ロバスト・フェデレーション学習のための適応的グラディエント・クリッピング
• Authors: Youssef Allouah, Rachid Guerraoui, Nirupam Gupta, Ahmed Jellouli, Geovani Rizk, John Stephan,
• Abstract要約: 本稿では,適応型クリッピング戦略である適応ロバストクリッピング(ARC)を提案し,入力勾配に基づいて動的にクリッピング閾値を調整する。 ARCは、特に高度に異質で対向的な設定において、ロバスト性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 8.268485501864939
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust federated learning aims to maintain reliable performance despite the presence of adversarial or misbehaving workers. While state-of-the-art (SOTA) robust distributed gradient descent (Robust-DGD) methods were proven theoretically optimal, their empirical success has often relied on pre-aggregation gradient clipping. However, existing static clipping strategies yield inconsistent results: enhancing robustness against some attacks while being ineffective or even detrimental against others. To address this limitation, we propose a principled adaptive clipping strategy, Adaptive Robust Clipping (ARC), which dynamically adjusts clipping thresholds based on the input gradients. We prove that ARC not only preserves the theoretical robustness guarantees of SOTA Robust-DGD methods but also provably improves asymptotic convergence when the model is well-initialized. Extensive experiments on benchmark image classification tasks confirm these theoretical insights, demonstrating that ARC significantly enhances robustness, particularly in highly heterogeneous and adversarial settings.
• Abstract（参考訳）: ロバスト・フェデレーテッド・ラーニング(Robust Federated Learning)は、反逆者や不行の労働者の存在にもかかわらず、信頼性の高いパフォーマンスを維持することを目的としている。 最先端(SOTA)の頑健な分散勾配降下法(Robust-DGD)は理論的に最適であることが証明されているが、その経験的成功は、しばしば事前集約勾配クリッピングに依存している。 しかし、既存の静的クリッピング戦略は、いくつかの攻撃に対して堅牢性を高めながら、他の攻撃に対して非効率または有害である、という矛盾した結果をもたらす。 この制限に対処するため,適応型クリッピング戦略である適応ロバストクリッピング(ARC)を提案し,入力勾配に基づいてクリッピング閾値を動的に調整する。 我々は、ARCがSOTA Robust-DGD法の理論的堅牢性を保証するだけでなく、モデルが十分に初期化されると漸近収束を改善することを証明した。 ベンチマーク画像分類タスクに関する大規模な実験はこれらの理論的な洞察を裏付け、ARCは特に高度に不均一で対向的な設定において、ロバスト性を大幅に向上させることを示した。

関連論文リスト

• Learning Difference-of-Convex Regularizers for Inverse Problems: A Flexible Framework with Theoretical Guarantees [0.6906005491572401]
  効果的な正則化の学習は、不適切な逆問題の解決に不可欠である。 本稿では,より広範な非正規化関数である差分DC関数が経験的性能を向上させることを示す。
  論文  参考訳（メタデータ） (2025-02-01T00:40:24Z)
• Enhancing Robust Fairness via Confusional Spectral Regularization [6.041034366572273]
  PAC-Bayesian フレームワーク内の最悪のクラスにおけるロバストなエラーに対して、ロバストな一般化を導出する。 本稿では,最低級のロバストな精度を向上し,ロバストな公正性を向上する新たな正則化手法を提案する。
  論文  参考訳（メタデータ） (2025-01-22T23:32:19Z)
• Boosting Certificate Robustness for Time Series Classification with Efficient Self-Ensemble [10.63844868166531]
  ランダム化 Smoothing は $ell_p$-ball 攻撃下でのロバストネス半径の証明可能な下界を証明できるため、スタンドアウト手法として登場した。 本稿では,分類マージンのばらつきを低減し,予測ラベルの確率信頼度を低くする自己アンサンブル手法を提案する。 このアプローチはまた、Deep Ensemble(DE)の計算オーバーヘッド問題にも対処し、競争力を維持しつつ、頑健性の観点からも性能を上回っている。
  論文  参考訳（メタデータ） (2024-09-04T15:22:08Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Stratified Learning: A General-Purpose Statistical Method for Improved Learning under Covariate Shift [1.1470070927586016]
  本稿では,学習セットが代表的でない場合の教師あり学習を改善するための,シンプルで統計的に原理化された理論的に正当化された手法を提案する。 因果推論において確立された方法論を基礎として,共変量シフトの影響を条件付けによって低減・排除できることを示す。 本稿では,宇宙論における2つの現代の研究課題に対する汎用的手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-21T15:53:20Z)
• CROP: Certifying Robust Policies for Reinforcement Learning through Functional Smoothing [41.093241772796475]
  本稿では, 逆境状態の摂動に対する強化学習(CROP)のためのロバスト政策の認定のための最初の枠組みを提案する。 本研究では,国家ごとの行動の堅牢性と累積報酬の低限界の2種類のロバスト性認定基準を提案する。
  論文  参考訳（メタデータ） (2021-06-17T07:58:32Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。