論文の概要: Stochastic Alternating Direction Method of Multipliers for Byzantine-Robust Distributed Learning

• arxiv url: http://arxiv.org/abs/2106.06891v1
• Date: Sun, 13 Jun 2021 01:17:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:19:06.259658
• Title: Stochastic Alternating Direction Method of Multipliers for Byzantine-Robust Distributed Learning
• Title（参考訳）: ビザンチン-ロバスト分散学習のための乗算器の確率交代方向法
• Authors: Feng Lin, Weiyu Li, Qing Ling
• Abstract要約: 分離可能な問題構造を完全に活用する乗算器のビザンチン-ロバスト交互方向法(ADMM)を提案する。 理論的には、提案法は、穏やかな仮定の下で最適解の有界近傍に O(k) の速度で収束することが証明される。 MNISTとCVERTYPEデータセットの数値実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 22.835940007753376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims to solve a distributed learning problem under Byzantine attacks. In the underlying distributed system, a number of unknown but malicious workers (termed as Byzantine workers) can send arbitrary messages to the master and bias the learning process, due to data corruptions, computation errors or malicious attacks. Prior work has considered a total variation (TV) norm-penalized approximation formulation to handle the Byzantine attacks, where the TV norm penalty forces the regular workers' local variables to be close, and meanwhile, tolerates the outliers sent by the Byzantine workers. To solve the TV norm-penalized approximation formulation, we propose a Byzantine-robust stochastic alternating direction method of multipliers (ADMM) that fully utilizes the separable problem structure. Theoretically, we prove that the proposed method converges to a bounded neighborhood of the optimal solution at a rate of O(1/k) under mild assumptions, where k is the number of iterations and the size of neighborhood is determined by the number of Byzantine workers. Numerical experiments on the MNIST and COVERTYPE datasets demonstrate the effectiveness of the proposed method to various Byzantine attacks.
• Abstract（参考訳）: 本稿では,ビザンチン攻撃下での分散学習問題を解決することを目的とする。 基盤となる分散システムでは、未知だが悪意のあるワーカ(ビザンチンワーカと呼ばれる)が任意のメッセージをマスタに送信し、データの破損、計算エラー、悪意のある攻撃などによって学習プロセスをバイアスすることができる。 以前の研究では、ビザンチン攻撃に対処するためにトータル・ミュータント(tv)ノルムペナルテッド近似定式化(英語版)(total variation:tv)を検討しており、テレビ・ノーム・ペナルティ(英語版)は通常の労働者のローカル変数を近接させ、一方でビザンチン労働者が送った異常を許容する。 そこで本研究では, 分割可能な問題構造をフル活用した乗算器 (ADMM) のビザンチン・ロバスト確率交互方向法を提案する。 理論的には、提案手法は、k が反復数であり、近傍の大きさがビザンチン労働者の数によって決定されるという軽微な仮定の下で、最適解の有界近傍に O(1/k) の速度で収束することを証明している。 mnistおよびcovertypeデータセットに関する数値実験により,様々なビザンチン攻撃に対する提案手法の有効性が示された。

関連論文リスト

• Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
  分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。 現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。 本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:50:30Z)
• A Robust Classification Framework for Byzantine-Resilient Stochastic Gradient Descent [3.5450828190071655]
  本稿では,分散勾配勾配におけるビザンチン耐故障性のためのロバスト勾配分類フレームワーク(RGCF)を提案する。 RGCFはワーカ数に依存しない。パフォーマンスを損なうことなく、多数のワーカを抱えるトレーニングインスタンスまでスケールアップすることができる。
  論文  参考訳（メタデータ） (2023-01-16T10:40:09Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Byzantine-Robust Decentralized Learning via ClippedGossip [61.03711813598128]
  ビザンチン・ロバスト・コンセンサス最適化のためのClippedGossipアルゴリズムを提案する。 ClippedGossipの実証実験性能を多数の攻撃下で実証した。
  論文  参考訳（メタデータ） (2022-02-03T12:04:36Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)
• Byzantine-Robust Variance-Reduced Federated Learning over Distributed Non-i.i.d. Data [36.99547890386817]
  我々は、労働者のデータが独立せず、同一に分散されていないフェデレート学習問題(すなわち、d)を考える。 不明な数のビザンツ人労働者が、悪意のあるメッセージを中央ノードに送信し、驚くべき学習エラーを引き起こす可能性がある。 Byzantine-Robust のほとんどのメソッドは、受信メッセージの集約にロバストなアグリゲーションルールを使用することでこの問題に対処している。
  論文  参考訳（メタデータ） (2020-09-17T09:09:23Z)
• Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
  ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。 これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
  論文  参考訳（メタデータ） (2020-06-16T17:58:53Z)
• Byzantine-Robust Decentralized Stochastic Optimization over Static and Time-Varying Networks [25.15075119957447]
  我々は、分散化された静的および時間変化ネットワーク上で定義されたビザンチン-ロバスト最適化問題を考察する。 一部のエージェントは、データの破損、機器の故障、サイバー攻撃のために信頼できない。 ビザンツの攻撃に対処するための重要なアイデアは、ビザンツの無問題に対する全変量(TV)の正規化近似を定式化することです。 提案手法は,ビザンチンフリー最適解の近傍に到達し,ビザンチンエージェントの数とネットワークトポロジーによって地区の大きさが決定されることを示す。
  論文  参考訳（メタデータ） (2020-05-12T04:18:39Z)
• Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks [74.36161581953658]
  本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。 このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。 本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
  論文  参考訳（メタデータ） (2019-12-29T19:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。