論文の概要: SignSGD with Federated Defense: Harnessing Adversarial Attacks through Gradient Sign Decoding

• arxiv url: http://arxiv.org/abs/2402.01340v1
• Date: Fri, 2 Feb 2024 11:53:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 15:37:58.993787
• Title: SignSGD with Federated Defense: Harnessing Adversarial Attacks through Gradient Sign Decoding
• Title（参考訳）: SignSGD with Federated Defense: Gradient Sign Decodingによる敵攻撃の回避
• Authors: Chanho Park, Namyoon Lee
• Abstract要約: 多数決のSignSGD(signSGD-MV)は、複数の労働者を用いたモデルトレーニングを加速するための単純かつ効果的なアプローチである。 対人労働者の増加に伴い収束率が不変であることを示し、対人労働者の数は対人労働者のそれよりも小さいことを仮定する。 従来のアプローチとは異なり、SignSGD-FDは適切な重みを持つ敵の労働者が送信する勾配情報を利用する。
• 参考スコア（独自算出の注目度）: 26.433639269480345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed learning is an effective approach to accelerate model training using multiple workers. However, substantial communication delays emerge between workers and a parameter server due to massive costs associated with communicating gradients. SignSGD with majority voting (signSGD-MV) is a simple yet effective optimizer that reduces communication costs through one-bit quantization, yet the convergence rates considerably decrease as adversarial workers increase. In this paper, we show that the convergence rate is invariant as the number of adversarial workers increases, provided that the number of adversarial workers is smaller than that of benign workers. The key idea showing this counter-intuitive result is our novel signSGD with federated defense (signSGD-FD). Unlike the traditional approaches, signSGD-FD exploits the gradient information sent by adversarial workers with the proper weights, which are obtained through gradient sign decoding. Experimental results demonstrate signSGD-FD achieves superior convergence rates over traditional algorithms in various adversarial attack scenarios.
• Abstract（参考訳）: 分散学習は、複数のワーカーを使ったモデルのトレーニングを加速する効果的なアプローチである。 しかし、通信勾配に伴う膨大なコストのため、労働者とパラメータサーバとの間にかなりの通信遅延が発生する。 多数決のSignSGD(signSGD-MV)は,1ビット量子化による通信コストの削減を目的とした簡易かつ効果的な最適化手法である。 本稿では, 対人労働者の数の増加に伴って収束率が不変であることを示し, 対人労働者の数が良性労働者の数よりも小さいことを仮定する。 この反直感的な結果を示す重要なアイデアは、連邦防衛(signSGD-FD)を備えた新しいサインSGDである。 従来の手法とは異なり、SignSGD-FDは、勾配符号復号によって得られる適切な重みを持つ敵の労働者が送る勾配情報を利用する。 SGD-FDは,様々な攻撃シナリオにおいて,従来のアルゴリズムよりも収束率が高いことを示す実験結果を得た。

関連論文リスト

• SignSGD with Federated Voting [69.06621279967865]
  SignSGD with majority voting (signSGD-MV) は1ビット量子化により通信コストを大幅に削減できる効果的な分散学習アルゴリズムである。 我々は、テキストフェデレート投票(signSGD-FV)を用いた新しいサインSGDを提案する。 連合投票の考え方は、学習可能な重量を利用して多数決を行うことである。 提案手法は, エッジデバイスが不均一なミニバッチサイズを使用する場合でも, 理論的収束を保証する。
  論文  参考訳（メタデータ） (2024-03-25T02:32:43Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Sparse-SignSGD with Majority Vote for Communication-Efficient Distributed Learning [20.22227794319504]
  $sf S3$GD-MVは通信効率の高い分散最適化アルゴリズムである。 通信コストを大幅に削減しつつ,SignSGDと同等の速度で収束することを示す。 これらの知見は、深層学習における通信効率の高い分散最適化のための有望なソリューションとして、$sf S3$GD-MVの可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-02-15T05:36:41Z)
• Staircase Sign Method for Boosting Adversarial Attacks [123.19227129979943]
  トランスファーベースの攻撃の敵の例を作るのは難しいし、研究のホットスポットだ。 そこで本研究では,この問題を緩和するための新しい階段サイン法(S$2$M)を提案する。 我々の手法は一般に転送ベースの攻撃と統合することができ、計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2021-04-20T02:31:55Z)
• Training GANs with Stronger Augmentations via Contrastive Discriminator [80.8216679195]
  本稿では,gan判別器にコントラスト表現学習方式を導入する。 この「融合」により、識別者は訓練の不安定さを増すことなく、より強力な増強に対処できる。 実験の結果,contratd付きganはfidを一貫して改善し,データ拡張を組み込んだ他の手法と比較した。
  論文  参考訳（メタデータ） (2021-03-17T16:04:54Z)
• Distributed Sparse SGD with Majority Voting [5.32836690371986]
  分散学習のための分散コミュニケーション戦略として,多数決に基づく疎間コミュニケーション戦略を導入する。 テスト精度を損なうことなく,最大x4000圧縮を達成可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-12T17:06:36Z)
• Accelerated Convergence for Counterfactual Learning to Rank [65.63997193915257]
  IPS重み付き勾配を持つSGD手法の収束速度は、IPS重みによる大きなばらつきに悩まされることを示す。 本稿では,従来のIPS重み付け勾配降下法よりも優れた収束性を有する新しい学習アルゴリズムであるCounterSampleを提案する。 我々は、CounterSampleがより早く収束し、理論的な結果と経験的な結果とを補完することを証明する。
  論文  参考訳（メタデータ） (2020-05-21T12:53:36Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)
• Towards Rapid and Robust Adversarial Training with One-Step Attacks [0.0]
  敵の訓練は、敵の攻撃に対するニューラルネットワークの堅牢性を高める最も成功した方法である。 本稿では,計算コストの低いFast Gradient Sign Methodを用いて,敵対的学習を可能にする2つのアイデアを提案する。 FGSMをベースとした対向訓練と併用したノイズ注入は、PGDによる対向訓練に匹敵する結果が得られ、より高速であることを示す。
  論文  参考訳（メタデータ） (2020-02-24T07:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。