論文の概要: Federated Cubic Regularized Newton Learning with Sparsification-amplified Differential Privacy

• arxiv url: http://arxiv.org/abs/2408.04315v1
• Date: Thu, 8 Aug 2024 08:48:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 16:08:12.637791
• Title: Federated Cubic Regularized Newton Learning with Sparsification-amplified Differential Privacy
• Title（参考訳）: スパシフィケーションを増幅した微分プライバシによる正則化立方形ニュートン学習
• Authors: Wei Huo, Changxin Liu, Kemi Ding, Karl Henrik Johansson, Ling Shi,
• Abstract要約: そこで我々は,DP-FCRN (differially Private Federated Cubic Regularized Newton) というフェデレーション学習アルゴリズムを導入する。 2次手法を活用することにより,本アルゴリズムは1次手法に比べてイテレーションの複雑さを小さくする。 また、プライバシーを確保するために、局所的な計算中にノイズの摂動も取り入れる。
• 参考スコア（独自算出の注目度）: 10.396575601912673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the use of the cubic-regularized Newton method within a federated learning framework while addressing two major concerns that commonly arise in federated learning: privacy leakage and communication bottleneck. We introduce a federated learning algorithm called Differentially Private Federated Cubic Regularized Newton (DP-FCRN). By leveraging second-order techniques, our algorithm achieves lower iteration complexity compared to first-order methods. We also incorporate noise perturbation during local computations to ensure privacy. Furthermore, we employ sparsification in uplink transmission, which not only reduces the communication costs but also amplifies the privacy guarantee. Specifically, this approach reduces the necessary noise intensity without compromising privacy protection. We analyze the convergence properties of our algorithm and establish the privacy guarantee. Finally, we validate the effectiveness of the proposed algorithm through experiments on a benchmark dataset.
• Abstract（参考訳）: 本稿では,連合学習フレームワークにおける3次規則化ニュートン法の利用について検討するとともに,連合学習において一般的に発生する2つの主要な懸念,すなわちプライバシリークと通信ボトルネックに対処する。 そこで本稿では,DP-FCRN (Disferially Private Federated Cubic Regularized Newton) というフェデレーション学習アルゴリズムを提案する。 2次手法を活用することにより,本アルゴリズムは1次手法に比べてイテレーションの複雑さを小さくする。 また、プライバシーを確保するために、局所的な計算中にノイズの摂動も取り入れる。 また,通信コストの削減だけでなく,プライバシー保証の強化も図っている。 具体的には、プライバシー保護を損なうことなく、必要なノイズ強度を減らす。 我々は,アルゴリズムの収束特性を分析し,プライバシ保証を確立する。 最後に,提案アルゴリズムの有効性をベンチマークデータセットを用いて検証した。

関連論文リスト

• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives [10.528569272279999]
  本稿では,強い凸性を持つが非滑らかな問題に対する差分プライベートなフェデレーション学習アルゴリズムを提案する。 提案アルゴリズムは、共有情報に人工ノイズを加えてプライバシーを確保するとともに、時間変化のノイズ分散を動的に割り当て、最適化誤差の上限を最小化する。 解析結果から,提案手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-02T13:30:33Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning [4.202534541804858]
  雑音の多い固定点反復の例として、差分プライベート(DP)機械学習アルゴリズムについて検討する。 我々は、プライバシーの増幅をサブサンプリングによって活用する強力なプライバシー保証を確立する。 雑音の多い不動点反復に対する最近の線形収束結果を利用する統一解析を用いてユーティリティ保証を行う。
  論文  参考訳（メタデータ） (2023-02-24T10:24:03Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• On Differential Privacy for Federated Learning in Wireless Systems with Multiple Base Stations [90.53293906751747]
  複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。 本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。 提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
  論文  参考訳（メタデータ） (2022-08-25T03:37:11Z)
• Privacy-preserving Decentralized Aggregation for Federated Learning [3.9323226496740733]
  フェデレーション学習は、複数のリージョンにまたがる分散データを学習するための有望なフレームワークである。 我々は,連合学習のためのプライバシ保存型分散集約プロトコルを開発した。 9 と 15 の分散サイトを持つベンチマークデータセットを用いて,画像分類と次単語予測のアルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2020-12-13T23:45:42Z)
• Differentially Private Clustering: Tight Approximation Ratios [57.89473217052714]
  基本的なクラスタリング問題に対して,効率的な微分プライベートアルゴリズムを提案する。 この結果から,SampleとAggregateのプライバシーフレームワークのアルゴリズムの改善が示唆された。 1-Clusterアルゴリズムで使用されるツールの1つは、ClosestPairのより高速な量子アルゴリズムを適度な次元で得るために利用できる。
  論文  参考訳（メタデータ） (2020-08-18T16:22:06Z)
• Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms [95.73230376153872]
  本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。 我々は、$(varepsilon, delta)$-differential privacyは、マルチデータベース学習アルゴリズムに縛られる平均的な一般化を意味することを証明している。 次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2020-07-18T09:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。