論文の概要: Boosting Robustness by Clipping Gradients in Distributed Learning

• arxiv url: http://arxiv.org/abs/2405.14432v1
• Date: Thu, 23 May 2024 11:00:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 15:34:33.763402
• Title: Boosting Robustness by Clipping Gradients in Distributed Learning
• Title（参考訳）: 分散学習における勾配によるロバスト性向上
• Authors: Youssef Allouah, Rachid Guerraoui, Nirupam Gupta, Ahmed Jellouli, Geovani Rizk, John Stephan,
• Abstract要約: State-of-the-art (SOTA) robust distributed gradient descent (Robust-DGD) 法は最適であることが証明されている。 その結果,低境界を回避し,学習性能を向上させることが可能であることが示唆された。 我々は、適応ロバストクリッピング(ARC)と呼ばれる新しいスキームを用いて、労働者の勾配の事前集約クリッピングを提案し、これを証明した。
• 参考スコア（独自算出の注目度）: 8.268485501864939
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robust distributed learning consists in achieving good learning performance despite the presence of misbehaving workers. State-of-the-art (SOTA) robust distributed gradient descent (Robust-DGD) methods, relying on robust aggregation, have been proven to be optimal: Their learning error matches the lower bound established under the standard heterogeneity model of $(G, B)$-gradient dissimilarity. The learning guarantee of SOTA Robust-DGD cannot be further improved when model initialization is done arbitrarily. However, we show that it is possible to circumvent the lower bound, and improve the learning performance, when the workers' gradients at model initialization are assumed to be bounded. We prove this by proposing pre-aggregation clipping of workers' gradients, using a novel scheme called adaptive robust clipping (ARC). Incorporating ARC in Robust-DGD provably improves the learning, under the aforementioned assumption on model initialization. The factor of improvement is prominent when the tolerable fraction of misbehaving workers approaches the breakdown point. ARC induces this improvement by constricting the search space, while preserving the robustness property of the original aggregation scheme at the same time. We validate this theoretical finding through exhaustive experiments on benchmark image classification tasks.
• Abstract（参考訳）: ロバストな分散学習は、失業労働者の存在にもかかわらず、優れた学習性能を達成するために構成される。 その学習誤差は、標準的な不均一性モデルである$(G, B)$-gradient dissimilarityの下の境界と一致する。 モデル初期化を任意に行うと、SOTA Robust-DGDの学習保証をさらに改善することはできない。 しかし,モデル初期化時の作業者の勾配が有界であると仮定した場合,下限を回避し,学習性能を向上させることが可能であることを示す。 本研究では、適応ロバストクリッピング(ARC)と呼ばれる新しいスキームを用いて、労働者の勾配の事前集約クリッピングを提案する。 Robust-DGDにおけるARCの導入は、上記のモデル初期化に関する仮定の下で、学習を確実に改善する。 改善の要因は、耐え難い作業者の割合が故障点に近づいた場合に顕著である。 ARCは、元のアグリゲーションスキームのロバスト性を同時に保ちながら、検索空間を制限し、この改善を誘導する。 我々は、ベンチマーク画像分類タスクの徹底的な実験を通して、この理論的発見を検証する。

関連論文リスト

• Boosting Certificate Robustness for Time Series Classification with Efficient Self-Ensemble [10.63844868166531]
  ランダム化 Smoothing は $ell_p$-ball 攻撃下でのロバストネス半径の証明可能な下界を証明できるため、スタンドアウト手法として登場した。 本稿では,分類マージンのばらつきを低減し,予測ラベルの確率信頼度を低くする自己アンサンブル手法を提案する。 このアプローチはまた、Deep Ensemble(DE)の計算オーバーヘッド問題にも対処し、競争力を維持しつつ、頑健性の観点からも性能を上回っている。
  論文  参考訳（メタデータ） (2024-09-04T15:22:08Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Stratified Learning: A General-Purpose Statistical Method for Improved Learning under Covariate Shift [1.1470070927586016]
  本稿では,学習セットが代表的でない場合の教師あり学習を改善するための,シンプルで統計的に原理化された理論的に正当化された手法を提案する。 因果推論において確立された方法論を基礎として,共変量シフトの影響を条件付けによって低減・排除できることを示す。 本稿では,宇宙論における2つの現代の研究課題に対する汎用的手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-21T15:53:20Z)
• CROP: Certifying Robust Policies for Reinforcement Learning through Functional Smoothing [41.093241772796475]
  本稿では, 逆境状態の摂動に対する強化学習(CROP)のためのロバスト政策の認定のための最初の枠組みを提案する。 本研究では,国家ごとの行動の堅牢性と累積報酬の低限界の2種類のロバスト性認定基準を提案する。
  論文  参考訳（メタデータ） (2021-06-17T07:58:32Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。