論文の概要: Byzantine-Robust Decentralized Learning via Self-Centered Clipping

• arxiv url: http://arxiv.org/abs/2202.01545v1
• Date: Thu, 3 Feb 2022 12:04:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-04 20:05:56.890361
• Title: Byzantine-Robust Decentralized Learning via Self-Centered Clipping
• Title（参考訳）: 自発的クリッピングによるビザンチンロバスト分散学習
• Authors: Lie He, Sai Praneeth Karimireddy, Martin Jaggi
• Abstract要約: 任意の通信グラフ上でのビザンチン・ロバスト分散学習の課題について検討する。 我々は、トポロジの情報を利用してボトルネックを害するノードがほとんどない、新たな不一致攻撃を特定する。
• 参考スコア（独自算出の注目度）: 61.03711813598128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the challenging task of Byzantine-robust decentralized training on arbitrary communication graphs. Unlike federated learning where workers communicate through a server, workers in the decentralized environment can only talk to their neighbors, making it harder to reach consensus. We identify a novel dissensus attack in which few malicious nodes can take advantage of information bottlenecks in the topology to poison the collaboration. To address these issues, we propose a Self-Centered Clipping (SCClip) algorithm for Byzantine-robust consensus and optimization, which is the first to provably converge to a $O(\delta_{\max}\zeta^2/\gamma^2)$ neighborhood of the stationary point for non-convex objectives under standard assumptions. Finally, we demonstrate the encouraging empirical performance of SCClip under a large number of attacks.
• Abstract（参考訳）: 本稿では,任意の通信グラフ上でのビザンチン・ロバスト分散学習の課題について考察する。 労働者がサーバーを介してコミュニケーションをとる連合学習とは異なり、分散環境の労働者は隣人としか会話できないため、合意に達するのが難しくなる。 トポロジにおける情報のボトルネックを利用してコラボレーションを汚染する悪質なノードがほとんどない,新たな不感攻撃を識別する。 これらの問題に対処するために、ビザンチン・ロバストコンセンサスと最適化のための自己中心クリッピング(scclip)アルゴリズムを提案し、標準仮定の下で非凸目的の定常点の$o(\delta_{\max}\zeta^2/\gamma^2)$近傍に最初に収束する。 最後に,多数の攻撃下でのSCClipの実証的性能を実証した。

関連論文リスト

• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• Fantastyc: Blockchain-based Federated Learning Made Secure and Practical [0.7083294473439816]
  フェデレートラーニング(Federated Learning)は、クライアントがローカルデータを共有せずに、中央サーバのオーケストレーション下で機械学習モデルを協調的にトレーニングすることを可能にする分散フレームワークである。 このフレームワークの中心性は、ブロックチェーンベースのフェデレーション学習アプローチによって、文献で扱われる障害点を表している。 この課題に対処するために設計されたFantastycを提案する。
  論文  参考訳（メタデータ） (2024-06-05T20:01:49Z)
• Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
  分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。 現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。 本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:50:30Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)
• Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
  分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。 ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
  論文  参考訳（メタデータ） (2020-02-20T05:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。