論文の概要: Byzantine-Robust Decentralized Learning via ClippedGossip

• arxiv url: http://arxiv.org/abs/2202.01545v2
• Date: Thu, 20 Apr 2023 15:22:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 17:54:53.248919
• Title: Byzantine-Robust Decentralized Learning via ClippedGossip
• Title（参考訳）: ClippedGossipによるByzantine-Robust分散学習
• Authors: Lie He, Sai Praneeth Karimireddy, Martin Jaggi
• Abstract要約: ビザンチン・ロバスト・コンセンサス最適化のためのClippedGossipアルゴリズムを提案する。 ClippedGossipの実証実験性能を多数の攻撃下で実証した。
• 参考スコア（独自算出の注目度）: 61.03711813598128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the challenging task of Byzantine-robust decentralized training on arbitrary communication graphs. Unlike federated learning where workers communicate through a server, workers in the decentralized environment can only talk to their neighbors, making it harder to reach consensus and benefit from collaborative training. To address these issues, we propose a ClippedGossip algorithm for Byzantine-robust consensus and optimization, which is the first to provably converge to a $O(\delta_{\max}\zeta^2/\gamma^2)$ neighborhood of the stationary point for non-convex objectives under standard assumptions. Finally, we demonstrate the encouraging empirical performance of ClippedGossip under a large number of attacks.
• Abstract（参考訳）: 本稿では,任意の通信グラフ上でのビザンチン・ロバスト分散学習の課題について考察する。 作業者がサーバを介してコミュニケーションするフェデレーション学習とは異なり、分散環境での作業者は隣人としか会話できないため、コンセンサスに達することが難しく、協調トレーニングの恩恵を受ける。 これらの問題に対処するために、ビザンチン・ロバスト合意と最適化のためのクリップドゴシップアルゴリズムを提案し、標準仮定の下で非凸目的の定常点の$o(\delta_{\max}\zeta^2/\gamma^2)$近傍に最初に収束する。 最後に,多くの攻撃において,クリップドゴシップを奨励する経験的性能を示す。

関連論文リスト

• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• Fantastyc: Blockchain-based Federated Learning Made Secure and Practical [0.7083294473439816]
  フェデレートラーニング(Federated Learning)は、クライアントがローカルデータを共有せずに、中央サーバのオーケストレーション下で機械学習モデルを協調的にトレーニングすることを可能にする分散フレームワークである。 このフレームワークの中心性は、ブロックチェーンベースのフェデレーション学習アプローチによって、文献で扱われる障害点を表している。 この課題に対処するために設計されたFantastycを提案する。
  論文  参考訳（メタデータ） (2024-06-05T20:01:49Z)
• Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
  分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。 現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。 本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:50:30Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)
• Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
  分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。 ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
  論文  参考訳（メタデータ） (2020-02-20T05:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。