論文の概要: Decentralized Stochastic Optimization with Inherent Privacy Protection

• arxiv url: http://arxiv.org/abs/2205.03884v1
• Date: Sun, 8 May 2022 14:38:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 18:10:37.185333
• Title: Decentralized Stochastic Optimization with Inherent Privacy Protection
• Title（参考訳）: 固有プライバシー保護を用いた分散確率最適化
• Authors: Yongqiang Wang and H. Vincent Poor
• Abstract要約: 分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
• 参考スコア（独自算出の注目度）: 103.62463469366557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized stochastic optimization is the basic building block of modern collaborative machine learning, distributed estimation and control, and large-scale sensing. Since involved data usually contain sensitive information like user locations, healthcare records and financial transactions, privacy protection has become an increasingly pressing need in the implementation of decentralized stochastic optimization algorithms. In this paper, we propose a decentralized stochastic gradient descent algorithm which is embedded with inherent privacy protection for every participating agent against other participating agents and external eavesdroppers. This proposed algorithm builds in a dynamics based gradient-obfuscation mechanism to enable privacy protection without compromising optimization accuracy, which is in significant difference from differential-privacy based privacy solutions for decentralized optimization that have to trade optimization accuracy for privacy. The dynamics based privacy approach is encryption-free, and hence avoids incurring heavy communication or computation overhead, which is a common problem with encryption based privacy solutions for decentralized stochastic optimization. Besides rigorously characterizing the convergence performance of the proposed decentralized stochastic gradient descent algorithm under both convex objective functions and non-convex objective functions, we also provide rigorous information-theoretic analysis of its strength of privacy protection. Simulation results for a distributed estimation problem as well as numerical experiments for decentralized learning on a benchmark machine learning dataset confirm the effectiveness of the proposed approach.
• Abstract（参考訳）: 分散確率最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本構成要素である。 関連するデータは、通常、ユーザー位置、医療記録、金融取引などの機密情報を含んでいるため、分散確率最適化アルゴリズムの実装において、プライバシー保護がますます重要になっている。 本稿では,他のエージェントや外部の盗聴者に対して,各エージェントに対して固有のプライバシー保護を組み込んだ分散確率勾配降下アルゴリズムを提案する。 提案アルゴリズムは、最適化精度を損なうことなくプライバシー保護を実現するために、ダイナミックスに基づく勾配難読化機構を組み込んだもので、プライバシーの最適化精度を交換しなければならない分散最適化のための差分プライバシベースのプライバシソリューションとは大きく異なる。 ダイナミクスベースのプライバシアプローチは暗号化フリーであり、そのため、分散確率最適化のための暗号化ベースのプライバシソリューションの一般的な問題である重い通信や計算オーバーヘッドを回避する。 提案手法は,対流対象関数と非凸対象関数の両方の下での分散確率勾配降下アルゴリズムの収束性能を厳密に特徴付けるだけでなく,プライバシー保護の強みに関する厳密な情報理論解析を提供する。 分散推定問題のシミュレーション結果と、ベンチマーク機械学習データセット上での分散学習の数値実験により、提案手法の有効性が確認された。

関連論文リスト

• Differentially private and decentralized randomized power method [15.955127242261808]
  微分プライバシー(DP)を実現するために導入されたノイズの分散を低減するための戦略を提案する。 精度を保ちながら、計算と通信のオーバーヘッドが低い分散化フレームワークに適応する。 本研究では,集中型環境におけるノイズスケールを,集中型環境におけるノイズスケールと類似した分散化環境で使用することができることを示す。
  論文  参考訳（メタデータ） (2024-11-04T09:53:03Z)
• Private and Federated Stochastic Convex Optimization: Efficient Strategies for Centralized Systems [8.419845742978985]
  本稿では,集中型システムにおけるフェデレートラーニング(FL)におけるプライバシ保護の課題に対処する。 我々は、同種および異種データ分布に対する最適収束率を維持しつつ、微分プライバシ(DP)を確保する手法を考案した。
  論文  参考訳（メタデータ） (2024-07-17T08:19:58Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• Decentralized Nonconvex Optimization with Guaranteed Privacy and Accuracy [34.24521534464185]
  プライバシ保護と中立性は、分散化された最適化学習の機密データにおいて難しい2つの問題である。 プライバシー保護と回避の両方を可能にするアルゴリズムを提案する。 このアルゴリズムは通信と計算の両方において効率的である。
  論文  参考訳（メタデータ） (2022-12-14T22:36:13Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Quantization enabled Privacy Protection in Decentralized Stochastic Optimization [34.24521534464185]
  分散最適化は、機械学習、制御、センサーネットワークのように多様な領域で使用することができる。 プライバシー保護は、分散最適化の実装において重要な必要性として浮上している。 本稿では,アグレッシブ量子化誤差が存在する場合でも,証明可能な収束精度を保証できるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-07T15:17:23Z)
• Distributed Reinforcement Learning for Privacy-Preserving Dynamic Edge Caching [91.50631418179331]
  MECネットワークにおけるデバイスのキャッシュヒット率を最大化するために,プライバシ保護型分散ディープポリシー勾配(P2D3PG)を提案する。 分散最適化をモデルフリーなマルコフ決定プロセス問題に変換し、人気予測のためのプライバシー保護フェデレーション学習手法を導入する。
  論文  参考訳（メタデータ） (2021-10-20T02:48:27Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。