論文の概要: Quantization enabled Privacy Protection in Decentralized Stochastic
Optimization
- arxiv url: http://arxiv.org/abs/2208.04845v1
- Date: Sun, 7 Aug 2022 15:17:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-10 13:18:56.738269
- Title: Quantization enabled Privacy Protection in Decentralized Stochastic
Optimization
- Title（参考訳）: 分散確率最適化におけるプライバシ保護の量子化
- Authors: Yongqiang Wang, Tamer Basar
- Abstract要約: 分散最適化は、機械学習、制御、センサーネットワークのように多様な領域で使用することができる。
プライバシー保護は、分散最適化の実装において重要な必要性として浮上している。
本稿では,アグレッシブ量子化誤差が存在する場合でも,証明可能な収束精度を保証できるアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 34.24521534464185
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: By enabling multiple agents to cooperatively solve a global optimization
problem in the absence of a central coordinator, decentralized stochastic
optimization is gaining increasing attention in areas as diverse as machine
learning, control, and sensor networks. Since the associated data usually
contain sensitive information, such as user locations and personal identities,
privacy protection has emerged as a crucial need in the implementation of
decentralized stochastic optimization. In this paper, we propose a
decentralized stochastic optimization algorithm that is able to guarantee
provable convergence accuracy even in the presence of aggressive quantization
errors that are proportional to the amplitude of quantization inputs. The
result applies to both convex and non-convex objective functions, and enables
us to exploit aggressive quantization schemes to obfuscate shared information,
and hence enables privacy protection without losing provable optimization
accuracy. In fact, by using a {stochastic} ternary quantization scheme, which
quantizes any value to three numerical levels, we achieve quantization-based
rigorous differential privacy in decentralized stochastic optimization, which
has not been reported before. In combination with the presented quantization
scheme, the proposed algorithm ensures, for the first time, rigorous
differential privacy in decentralized stochastic optimization without losing
provable convergence accuracy. Simulation results for a distributed estimation
problem as well as numerical experiments for decentralized learning on a
benchmark machine learning dataset confirm the effectiveness of the proposed
approach.
- Abstract（参考訳）: 複数のエージェントが中央コーディネータを使わずにグローバル最適化問題を協調的に解決できるようにすることで、分散確率最適化は機械学習、制御、センサネットワークなど様々な分野で注目を集めている。
関連するデータは、通常、ユーザ位置や個人識別などの機密情報を含むため、分散確率最適化の実装において、プライバシー保護が重要な要件として浮上している。
本稿では,量子化入力の振幅に比例する積極的な量子化誤差が存在する場合でも,証明可能な収束精度を保証できる分散確率最適化アルゴリズムを提案する。
その結果,convexとnon-convexの両方の目的関数に適用でき,共有情報を難読化するために積極的な量子化スキームを活用できるため,有効な最適化精度を損なうことなくプライバシ保護が可能となる。
実際、任意の値を3つの数値レベルに量子化する {stochastic} 3次量子化スキームを用いて、分散確率最適化において量子化に基づく厳密な微分プライバシーを実現する。
提案した量子化スキームと組み合わせることで,提案アルゴリズムは,証明可能な収束精度を損なうことなく,分散確率最適化における厳密な微分プライバシを保証する。
分散推定問題のシミュレーション結果と、ベンチマーク機械学習データセット上での分散学習の数値実験により、提案手法の有効性が確認された。
関連論文リスト
- Private and Federated Stochastic Convex Optimization: Efficient Strategies for Centralized Systems [8.419845742978985]
本稿では,集中型システムにおけるフェデレートラーニング(FL)におけるプライバシ保護の課題に対処する。
我々は、同種および異種データ分布に対する最適収束率を維持しつつ、微分プライバシ(DP)を確保する手法を考案した。
論文 参考訳（メタデータ） (2024-07-17T08:19:58Z) - Quantization Avoids Saddle Points in Distributed Optimization [1.579622195923387]
分散非最適化は、多くの分散システムの重要な機能を支える。
本研究の目的は,サドル点収束を2次定常点収束に効果的に回避できることを示すことである。
簡単に調整可能な量子化により、ユーザの制御により、通信オーバーヘッドを積極的に削減できる。
論文 参考訳（メタデータ） (2024-03-15T15:58:20Z) - Adaptive Differentially Quantized Subspace Perturbation (ADQSP): A Unified Framework for Privacy-Preserving Distributed Average Consensus [6.364764301218972]
本稿では適応微分量子化部分空間(ADQSP)という一般手法を提案する。
本研究では,単一の量子化パラメータを変化させることで,提案手法がSMPC型の性能とDP型性能に異なることを示す。
この結果から,従来の分散信号処理ツールを暗号保証に活用する可能性が示唆された。
論文 参考訳（メタデータ） (2023-12-13T07:52:16Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Decentralized Nonconvex Optimization with Guaranteed Privacy and
Accuracy [34.24521534464185]
プライバシ保護と中立性は、分散化された最適化学習の機密データにおいて難しい2つの問題である。
プライバシー保護と回避の両方を可能にするアルゴリズムを提案する。
このアルゴリズムは通信と計算の両方において効率的である。
論文 参考訳（メタデータ） (2022-12-14T22:36:13Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳（メタデータ） (2022-05-08T14:38:23Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-09-23T17:38:24Z) - Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。
すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。
本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
論文 参考訳（メタデータ） (2020-10-23T10:35:35Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。