論文の概要: Secure Distributed Training at Scale

• arxiv url: http://arxiv.org/abs/2106.11257v1
• Date: Mon, 21 Jun 2021 17:00:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:05:07.428626
• Title: Secure Distributed Training at Scale
• Title（参考訳）: スケールでのセキュアな分散トレーニング
• Authors: Eduard Gorbunov, Alexander Borzunov, Michael Diskin, Max Ryabinin
• Abstract要約: ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
• 参考スコア（独自算出の注目度）: 65.7538150168154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Some of the hardest problems in deep learning can be solved with the combined effort of many independent parties, as is the case for volunteer computing and federated learning. These setups rely on high numbers of peers to provide computational resources or train on decentralized datasets. Unfortunately, participants in such systems are not always reliable. Any single participant can jeopardize the entire training run by sending incorrect updates, whether deliberately or by mistake. Training in presence of such peers requires specialized distributed training algorithms with Byzantine tolerance. These algorithms often sacrifice efficiency by introducing redundant communication or passing all updates through a trusted server. As a result, it can be infeasible to apply such algorithms to large-scale distributed deep learning, where models can have billions of parameters. In this work, we propose a novel protocol for secure (Byzantine-tolerant) decentralized training that emphasizes communication efficiency. We rigorously analyze this protocol: in particular, we provide theoretical bounds for its resistance against Byzantine and Sybil attacks and show that it has a marginal communication overhead. To demonstrate its practical effectiveness, we conduct large-scale experiments on image classification and language modeling in presence of Byzantine attackers.
• Abstract（参考訳）: ディープラーニングの最も難しい問題は、ボランティアコンピューティングや連合学習の場合のように、多くの独立した当事者の協力によって解決することができる。 これらのセットアップは、計算リソースの提供や分散データセットのトレーニングのために、多数のピアに依存する。 残念ながら、このようなシステムの参加者は必ずしも信頼できない。 任意の参加者は、意図的であれ、誤ってであれ、不正なアップデートを送信することによって、トレーニング全体の障害を回避できる。 このようなピアの存在下でのトレーニングには、ビザンチン耐性を持つ特別な分散トレーニングアルゴリズムが必要である。 これらのアルゴリズムは、冗長な通信を導入したり、すべての更新を信頼できるサーバに渡すことで効率を犠牲にすることが多い。 その結果、モデルが数十億のパラメータを持つ大規模分散ディープラーニングにそのようなアルゴリズムを適用することは不可能である。 本稿では,通信効率を重視したセキュア(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。 我々は、このプロトコルを厳格に分析し、特に、ビザンツとシビルの攻撃に対する抵抗の理論的限界を提供し、通信オーバーヘッドが極端であることを示す。 実効性を示すために,ビザンチン攻撃者の存在下で,画像分類と言語モデルに関する大規模実験を行った。

関連論文リスト

• Mitigating Data Injection Attacks on Federated Learning [20.24380409762923]
  フェデレートラーニング(Federated Learning)は、複数のエンティティがデータを使ってモデルを協調的にトレーニングすることを可能にするテクニックである。 その利点にもかかわらず、フェデレートされた学習は偽のデータ注入攻撃の影響を受けやすい。 本稿では,フェデレート学習システムにおけるデータインジェクション攻撃の検出と緩和を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:26:31Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Federated Learning via Plurality Vote [38.778944321534084]
  フェデレートされた学習は、データプライバシを保持しながら、共同作業者が機械学習の問題を解決することを可能にする。 最近の研究は、連合学習における様々な課題に取り組んできた。 複数の投票によるフェデレーション学習(FedVote)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-06T18:16:22Z)
• Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
  ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。 これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
  論文  参考訳（メタデータ） (2020-06-16T17:58:53Z)
• Communication-Efficient Decentralized Learning with Sparsification and Adaptive Peer Selection [13.963329236804586]
  本稿では,以下の特徴を持つ分散学習アルゴリズムを提案する。 各ワーカーは、高度に圧縮されたモデルで、各コミュニケーションラウンドで1人のピアと通信するだけです。 実験結果から,本アルゴリズムは通信トラフィックを大幅に削減し,比較的高帯域幅のピアを選択する。
  論文  参考訳（メタデータ） (2020-02-22T12:31:57Z)
• Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
  分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。 ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
  論文  参考訳（メタデータ） (2020-02-20T05:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。