論文の概要: On the Tradeoff between Privacy Preservation and Byzantine-Robustness in Decentralized Learning

• arxiv url: http://arxiv.org/abs/2308.14606v4
• Date: Mon, 14 Oct 2024 09:20:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:02:38.857895
• Title: On the Tradeoff between Privacy Preservation and Byzantine-Robustness in Decentralized Learning
• Title（参考訳）: 分散学習におけるプライバシー保護とビザンチン・ロバスト性とのトレードオフについて
• Authors: Haoxiang Ye, Heng Zhu, Qing Ling,
• Abstract要約: 分散化されたネットワークでは、誠実だが信頼できるエージェントが所定のアルゴリズムを忠実に従うが、学習プロセス中に受信したメッセージから隣人のプライベートデータを推測することを期待している。 分散化されたネットワークでは、不正かつビザンチンなエージェントは所定のアルゴリズムに反し、学習プロセスに偏りがあるように、隣人に意図的に誤ったメッセージを広める。
• 参考スコア（独自算出の注目度）: 27.06136955053105
• License:
• Abstract: This paper jointly considers privacy preservation and Byzantine-robustness in decentralized learning. In a decentralized network, honest-but-curious agents faithfully follow the prescribed algorithm, but expect to infer their neighbors' private data from messages received during the learning process, while dishonest-and-Byzantine agents disobey the prescribed algorithm, and deliberately disseminate wrong messages to their neighbors so as to bias the learning process. For this novel setting, we investigate a generic privacy-preserving and Byzantine-robust decentralized stochastic gradient descent (SGD) framework, in which Gaussian noise is injected to preserve privacy and robust aggregation rules are adopted to counteract Byzantine attacks. We analyze its learning error and privacy guarantee, discovering an essential tradeoff between privacy preservation and Byzantine-robustness in decentralized learning -- the learning error caused by defending against Byzantine attacks is exacerbated by the Gaussian noise added to preserve privacy. For a class of state-of-the-art robust aggregation rules, we give unified analysis of the "mixing abilities". Building upon this analysis, we reveal how the "mixing abilities" affect the tradeoff between privacy preservation and Byzantine-robustness. The theoretical results provide guidelines for achieving a favorable tradeoff with proper design of robust aggregation rules. Numerical experiments are conducted and corroborate our theoretical findings.
• Abstract（参考訳）: 本稿では,分散学習におけるプライバシー保護とビザンチン・ロバスト性について考察する。 分散化されたネットワークでは、誠実だが信頼できるエージェントは、所定のアルゴリズムに忠実に従うが、学習プロセス中に受信したメッセージから隣人のプライベートデータを推測する。 本稿では,プライバシ保護とビザンツの分散化確率勾配降下(SGD)フレームワークについて検討し,プライバシ保護のためにガウスノイズを注入し,ビザンツ攻撃に対するロバストなアグリゲーションルールを適用した。 我々は、その学習エラーとプライバシ保証を分析し、プライバシー保護と分散学習におけるビザンツのロマンスの間に不可欠なトレードオフを発見します。 最先端のロバストアグリゲーションルールのクラスでは、「混合能力」を統一的に分析する。 この分析に基づいて、我々は「混合能力」がプライバシー保護とビザンチン・ロバスト性の間のトレードオフにどのように影響するかを明らかにする。 理論的結果は、ロバストなアグリゲーションルールを適切に設計した良好なトレードオフを達成するためのガイドラインを提供する。 数値実験を行い, 理論的知見を裏付ける。

関連論文リスト

• Privacy-Preserving Distributed Maximum Consensus Without Accuracy Loss [8.539683760001575]
  分散ネットワークでは、最大要素を計算することが基本的な課題である。 その重要性にもかかわらず、分散された最大コンセンサスにおけるプライバシは文学において限られた注目を集めている。 精度を犠牲にすることなくプライバシを保存する分散最適化方式を提案する。
  論文  参考訳（メタデータ） (2024-09-16T12:21:04Z)
• Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
  フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。 ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
  論文  参考訳（メタデータ） (2024-08-28T08:22:21Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Practical Differentially Private and Byzantine-resilient Federated Learning [17.237219486602097]
  我々は、プライバシーを守るために、微分プライベート勾配降下法(DP-SGD)アルゴリズムを用いている。 ランダムノイズを利用して、既存のビザンツ攻撃の多くを効果的に拒否するアグリゲーションを構築する。
  論文  参考訳（メタデータ） (2023-04-15T23:30:26Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• Privacy-Preserving Distributed Expectation Maximization for Gaussian Mixture Model using Subspace Perturbation [4.2698418800007865]
  フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。 我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。 数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-09-16T09:58:03Z)
• Secure Byzantine-Robust Distributed Learning via Clustering [16.85310886805588]
  ビザンチンの堅牢性とプライバシを共同で保護するフェデレーション学習システムは、依然としてオープンな問題である。 本研究では,クライアントのプライバシーとロバスト性を同時に保持する分散学習フレームワークであるSHAREを提案する。
  論文  参考訳（メタデータ） (2021-10-06T17:40:26Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Privacy-preserving Decentralized Aggregation for Federated Learning [3.9323226496740733]
  フェデレーション学習は、複数のリージョンにまたがる分散データを学習するための有望なフレームワークである。 我々は,連合学習のためのプライバシ保存型分散集約プロトコルを開発した。 9 と 15 の分散サイトを持つベンチマークデータセットを用いて,画像分類と次単語予測のアルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2020-12-13T23:45:42Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
  分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。 ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
  論文  参考訳（メタデータ） (2020-02-20T05:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。