論文の概要: SignSGD: Fault-Tolerance to Blind and Byzantine Adversaries

• arxiv url: http://arxiv.org/abs/2202.02085v1
• Date: Fri, 4 Feb 2022 11:40:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-07 14:33:51.035597
• Title: SignSGD: Fault-Tolerance to Blind and Byzantine Adversaries
• Title（参考訳）: SignSGD: BlindとByzantineの敵に対するフォールトトレランス
• Authors: Jason Akoun, Sebastien Meyer
• Abstract要約: 分散環境では、学習プロセスはサーバによって監視される。 デバイスの中には、意図的、意図的、あるいはそうでないものもあり、通常の分散SGDアルゴリズムでは敵から自身を守ることはできない。 我々は、デバイスとサーバ間のサインの共有に依存するSignSGDアルゴリズムに基づく。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed learning has become a necessity for training ever-growing models. In a distributed setting, the task is shared among several devices. Typically, the learning process is monitored by a server. Also, some of the devices can be faulty, deliberately or not, and the usual distributed SGD algorithm cannot defend itself from omniscient adversaries. Therefore, we need to devise a fault-tolerant gradient descent algorithm. We based our article on the SignSGD algorithm, which relies on the sharing of gradients signs between the devices and the server. We provide a theoretical upper bound for the convergence rate of SignSGD to extend the results of the original paper. Our theoretical results estimate the convergence rate of SignSGD against a proportion of general adversaries, such as Byzantine adversaries. We implemented the algorithm along with Byzantine strategies in order to try to crush the learning process. Therefore, we provide empirical observations from our experiments to support our theory. Our code is available on GitHub and our experiments are reproducible by using the provided parameters.
• Abstract（参考訳）: 成長を続けるモデルのトレーニングには、分散学習が不可欠になっている。 分散環境では、タスクは複数のデバイス間で共有される。 通常、学習プロセスはサーバによって監視される。 また、一部のデバイスは故意に故障する可能性があり、通常の分散sgdアルゴリズムでは、全科学的な敵から自らを守ることはできない。 したがって,フォールトトレラント勾配降下アルゴリズムを考案する必要がある。 我々は,デバイスとサーバ間の勾配信号の共有に依存するSignSGDアルゴリズムに基づく。 本稿では,SignSGDの収束率に関する理論上界を提供し,元の論文の結果を拡張する。 我々の理論的結果は、ビザンツの敵のような一般敵に対するSignSGDの収束率を推定する。 我々はこのアルゴリズムをビザンツの戦略と共に実装し、学習プロセスを潰そうとした。 それゆえ,我々は実験から経験的な観察を行い,理論を裏付ける。 私たちのコードはgithubで入手でき、実験は提供されたパラメータを使って再現可能です。

関連論文リスト

• SignSGD with Federated Voting [69.06621279967865]
  SignSGD with majority voting (signSGD-MV) は1ビット量子化により通信コストを大幅に削減できる効果的な分散学習アルゴリズムである。 我々は、テキストフェデレート投票(signSGD-FV)を用いた新しいサインSGDを提案する。 連合投票の考え方は、学習可能な重量を利用して多数決を行うことである。 提案手法は, エッジデバイスが不均一なミニバッチサイズを使用する場合でも, 理論的収束を保証する。
  論文  参考訳（メタデータ） (2024-03-25T02:32:43Z)
• Sinkhorn Distance Minimization for Knowledge Distillation [97.64216712016571]
  知識蒸留(KD)は大規模言語モデル(LLM)の圧縮に広く採用されている。 本稿では,上述のKL,RKL,JSの発散が,それぞれモード緩和,モード崩壊,モード下推定といった問題に悩まされていることを示す。 本研究では,Sinkhorn 距離を利用した Sinkhorn Knowledge Distillation (SinKD) を提案する。
  論文  参考訳（メタデータ） (2024-02-27T01:13:58Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Robust Distributed Learning Against Both Distributional Shifts and Byzantine Attacks [29.34471516011148]
  分散学習システムでは、2つのソースから問題が発生する可能性がある。 一方、トレーニングデータとテストデータ間の分散シフトにより、モデルはサンプル外性能が劣る可能性がある。 一方、訓練されたノードの一部はビザンチン攻撃を受け、モデルが無効になる可能性がある。
  論文  参考訳（メタデータ） (2022-10-29T20:08:07Z)
• From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent [50.4531316289086]
  SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。 集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。 我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
  論文  参考訳（メタデータ） (2022-10-13T03:55:04Z)
• Combining Differential Privacy and Byzantine Resilience in Distributed SGD [9.14589517827682]
  本稿では,分散SGDアルゴリズムが標準パラメータサーバアーキテクチャにおいて,どの程度正確なモデルを学習できるかについて検討する。 特に$(alpha,f)$-Byzantineのレジリエンスに依存しているものは、正直な労働者がDPを強制すると無効となる。
  論文  参考訳（メタデータ） (2021-10-08T09:23:03Z)
• Differential Privacy and Byzantine Resilience in SGD: Do They Add Up? [6.614755043607777]
  本研究では,差分プライバシ(DP)と$(alpha,f)$-ビザンチンレジリエンスを併用して,SGD(Gradient Descent)学習アルゴリズムの分散実装が実現可能であるかを検討する。 これらの手法の直接的な構成は、結果のSGDアルゴリズムがMLモデルのパラメータ数に依存することを保証していることを示す。
  論文  参考訳（メタデータ） (2021-02-16T14:10:38Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)
• Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks [74.36161581953658]
  本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。 このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。 本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
  論文  参考訳（メタデータ） (2019-12-29T19:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。