論文の概要: Byzantine-resilient Decentralized Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2002.08569v4
• Date: Wed, 20 Oct 2021 09:07:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 08:09:47.715075
• Title: Byzantine-resilient Decentralized Stochastic Gradient Descent
• Title（参考訳）: ビザンチン耐性分散確率勾配降下
• Authors: Shangwei Guo, Tianwei Zhang, Han Yu, Xiaofei Xie, Lei Ma, Tao Xiang, and Yang Liu
• Abstract要約: 分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。 ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
• 参考スコア（独自算出の注目度）: 85.15773446094576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning has gained great popularity to improve learning efficiency and preserve data privacy. Each computing node makes equal contribution to collaboratively learn a Deep Learning model. The elimination of centralized Parameter Servers (PS) can effectively address many issues such as privacy, performance bottleneck and single-point-failure. However, how to achieve Byzantine Fault Tolerance in decentralized learning systems is rarely explored, although this problem has been extensively studied in centralized systems. In this paper, we present an in-depth study towards the Byzantine resilience of decentralized learning systems with two contributions. First, from the adversarial perspective, we theoretically illustrate that Byzantine attacks are more dangerous and feasible in decentralized learning systems: even one malicious participant can arbitrarily alter the models of other participants by sending carefully crafted updates to its neighbors. Second, from the defense perspective, we propose UBAR, a novel algorithm to enhance decentralized learning with Byzantine Fault Tolerance. Specifically, UBAR provides a Uniform Byzantine-resilient Aggregation Rule for benign nodes to select the useful parameter updates and filter out the malicious ones in each training iteration. It guarantees that each benign node in a decentralized system can train a correct model under very strong Byzantine attacks with an arbitrary number of faulty nodes. We conduct extensive experiments on standard image classification tasks and the results indicate that UBAR can effectively defeat both simple and sophisticated Byzantine attacks with higher performance efficiency than existing solutions.
• Abstract（参考訳）: 分散学習は、学習効率を改善し、データのプライバシを保存するために大きな人気を集めている。 各計算ノードは、Deep Learningモデルを学ぶために同等の貢献をする。 集中型パラメータサーバ(PS)の廃止は、プライバシやパフォーマンスボトルネック、単一ポイント障害など、多くの問題に効果的に対処できる。 しかし,分散学習システムにおけるビザンチン障害耐性の達成方法はほとんど検討されていないが,この問題は集中型システムで広く研究されている。 本稿では,分散学習システムにおけるビザンツのレジリエンスに関する2つの研究成果について述べる。 まず、敵対的な観点から、Byzantine攻撃は分散学習システムにおいてより危険で実現可能であることを理論的に説明します。 第2に, 防衛の観点から, ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。 具体的には、UBARは、良質なノードに対してUniform Byzantine-Resilient Aggregation Ruleを提供し、有用なパラメータの更新を選択し、トレーニングイテレーション毎に悪意のあるノードをフィルタリングする。 分散システム内の各良性ノードは、任意の数の障害ノードで非常に強力なビザンチン攻撃の下で正しいモデルをトレーニングできることを保証する。 我々は,標準的な画像分類タスクに関する広範な実験を行い,UBARが既存のソリューションよりも高性能なビザンチン攻撃を効果的に打ち負かすことを示す。

関連論文リスト

• Byzantine-Robust Aggregation for Securing Decentralized Federated Learning [0.32985979395737774]
  Federated Learning(FL)は、デバイス上でAIモデルをローカルにトレーニングすることで、プライバシの問題に対処する分散機械学習アプローチとして登場した。 分散フェデレートラーニング(DFL)は、中央サーバを排除し、単一障害点の回避を通じてスケーラビリティと堅牢性を向上させることで、FLパラダイムを拡張します。 We present a novel byzantine-robust aggregate algorithm to enhance the security of DFL environment, coin, WFAgg。
  論文  参考訳（メタデータ） (2024-09-26T11:36:08Z)
• Can Decentralized Learning be more robust than Federated Learning? [8.873449722727026]
  分散学習(DL)に対する2つのテライトニューアタックを導入する。 我々は、最先端の堅牢なDLプロトコルであるSelf-Centered Clippingに対する攻撃の効率を実証する。 ビザンチンのユーザに分散化が与える能力は、連邦学習よりもロバスト性が低い分散型学習職をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-03-07T11:53:37Z)
• Robust Distributed Learning Against Both Distributional Shifts and Byzantine Attacks [29.34471516011148]
  分散学習システムでは、2つのソースから問題が発生する可能性がある。 一方、トレーニングデータとテストデータ間の分散シフトにより、モデルはサンプル外性能が劣る可能性がある。 一方、訓練されたノードの一部はビザンチン攻撃を受け、モデルが無効になる可能性がある。
  論文  参考訳（メタデータ） (2022-10-29T20:08:07Z)
• Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision? [51.00034621304361]
  自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究 本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T01:32:41Z)
• On the (In)security of Peer-to-Peer Decentralized Machine Learning [16.671864590599288]
  我々は、受動的・能動的に非中央集権的な敵に対して、新しい攻撃群を紹介した。 分散学習の提案者による主張とは裏腹に、分散学習は連合学習よりもセキュリティ上の優位性を提供していないことを実証する。
  論文  参考訳（メタデータ） (2022-05-17T15:36:50Z)
• Byzantine-Robust Decentralized Learning via ClippedGossip [61.03711813598128]
  ビザンチン・ロバスト・コンセンサス最適化のためのClippedGossipアルゴリズムを提案する。 ClippedGossipの実証実験性能を多数の攻撃下で実証した。
  論文  参考訳（メタデータ） (2022-02-03T12:04:36Z)
• Hybrid Dynamic Contrast and Probability Distillation for Unsupervised Person Re-Id [109.1730454118532]
  非監督的人物再識別(Re-Id)は、リードワールドビデオ監視システムにおける実践的応用により注目されている。 本稿では,ハイブリッド動的クラスタコントラストと確率蒸留アルゴリズムを提案する。 教師なしRe-Id問題を局所-言語的ダイナミックコントラスト学習と自己教師付き確率蒸留の枠組みに統合する。
  論文  参考訳（メタデータ） (2021-09-29T02:56:45Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)
• Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
  ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。 これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
  論文  参考訳（メタデータ） (2020-06-16T17:58:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。