論文の概要: TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2402.10816v1
• Date: Fri, 16 Feb 2024 16:41:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 15:02:33.199910
• Title: TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data
• Title（参考訳）: ternaryvote: 異種データに対する差分プライベート、通信効率、ビザンチン耐性分散最適化
• Authors: Richeng Jin, Yujie Gu, Kai Yue, Xiaofan He, Zhaoyang Zhang, Huaiyu Dai
• Abstract要約: 本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
• 参考スコア（独自算出の注目度）: 50.797729676285876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed training of deep neural networks faces three critical challenges: privacy preservation, communication efficiency, and robustness to fault and adversarial behaviors. Although significant research efforts have been devoted to addressing these challenges independently, their synthesis remains less explored. In this paper, we propose TernaryVote, which combines a ternary compressor and the majority vote mechanism to realize differential privacy, gradient compression, and Byzantine resilience simultaneously. We theoretically quantify the privacy guarantee through the lens of the emerging f-differential privacy (DP) and the Byzantine resilience of the proposed algorithm. Particularly, in terms of privacy guarantees, compared to the existing sign-based approach StoSign, the proposed method improves the dimension dependence on the gradient size and enjoys privacy amplification by mini-batch sampling while ensuring a comparable convergence rate. We also prove that TernaryVote is robust when less than 50% of workers are blind attackers, which matches that of SIGNSGD with majority vote. Extensive experimental results validate the effectiveness of the proposed algorithm.
• Abstract（参考訳）: ディープニューラルネットワークの分散トレーニングには,プライバシ保護,通信効率,障害や敵行動に対する堅牢性という,3つの重要な課題がある。 これらの課題を個別に解決するための重要な研究努力が続けられているが、それらの合成はいまだに研究されていない。 本稿では,三次圧縮機と多数決機構を組み合わせて,差分プライバシー,勾配圧縮,ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 理論上は,新たに出現するf-differential privacy (dp) のレンズと,提案アルゴリズムのビザンチン・レジリエンスを用いて,プライバシの保証を定量化する。 特にプライバシ保証の観点からは,既存の符号ベースアプローチstosignと比較して,提案手法は勾配サイズに対する次元依存性を改善し,同等の収束率を確保しつつ,ミニバッチサンプリングによるプライバシ増幅を享受する。 TernaryVoteは、50%未満の労働者が盲目の攻撃者であり、多数決でSIGNSGDと一致している場合にも堅牢であることを示す。 実験により,提案アルゴリズムの有効性を検証した。

関連論文リスト

• Privacy-Preserving Distributed Maximum Consensus Without Accuracy Loss [8.539683760001575]
  分散ネットワークでは、最大要素を計算することが基本的な課題である。 その重要性にもかかわらず、分散された最大コンセンサスにおけるプライバシは文学において限られた注目を集めている。 精度を犠牲にすることなくプライバシを保存する分散最適化方式を提案する。
  論文  参考訳（メタデータ） (2024-09-16T12:21:04Z)
• Federated Cubic Regularized Newton Learning with Sparsification-amplified Differential Privacy [10.396575601912673]
  そこで我々は,DP-FCRN (differially Private Federated Cubic Regularized Newton) というフェデレーション学習アルゴリズムを導入する。 2次手法を活用することにより,本アルゴリズムは1次手法に比べてイテレーションの複雑さを小さくする。 また、プライバシーを確保するために、局所的な計算中にノイズの摂動も取り入れる。
  論文  参考訳（メタデータ） (2024-08-08T08:48:54Z)
• Private Optimal Inventory Policy Learning for Feature-based Newsvendor with Unknown Demand [13.594765018457904]
  本稿では, f-differential privacy framework内で, プライバシ保護に最適な在庫ポリシーを推定するための新しいアプローチを提案する。 最適在庫推定のための畳み込み平滑化に基づくクリップ付き雑音勾配降下アルゴリズムを開発した。 提案手法は,コストを極端に増大させることなく,望ましいプライバシー保護を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-23T19:15:43Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• Causal Inference with Differentially Private (Clustered) Outcomes [16.166525280886578]
  ランダム化実験から因果効果を推定することは、参加者が反応を明らかにすることに同意すれば実現可能である。 我々は,任意のクラスタ構造を利用する新たな差分プライバシメカニズムであるCluster-DPを提案する。 クラスタの品質を直感的に測定することで,プライバシ保証を維持しながら分散損失を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-08-02T05:51:57Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。