論文の概要: Quantization enabled Privacy Protection in Decentralized Stochastic
Optimization
- arxiv url: http://arxiv.org/abs/2208.04845v1
- Date: Sun, 7 Aug 2022 15:17:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-10 13:18:56.738269
- Title: Quantization enabled Privacy Protection in Decentralized Stochastic
Optimization
- Title(参考訳): 分散確率最適化におけるプライバシ保護の量子化
- Authors: Yongqiang Wang, Tamer Basar
- Abstract要約: 分散最適化は、機械学習、制御、センサーネットワークのように多様な領域で使用することができる。
プライバシー保護は、分散最適化の実装において重要な必要性として浮上している。
本稿では,アグレッシブ量子化誤差が存在する場合でも,証明可能な収束精度を保証できるアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 34.24521534464185
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: By enabling multiple agents to cooperatively solve a global optimization
problem in the absence of a central coordinator, decentralized stochastic
optimization is gaining increasing attention in areas as diverse as machine
learning, control, and sensor networks. Since the associated data usually
contain sensitive information, such as user locations and personal identities,
privacy protection has emerged as a crucial need in the implementation of
decentralized stochastic optimization. In this paper, we propose a
decentralized stochastic optimization algorithm that is able to guarantee
provable convergence accuracy even in the presence of aggressive quantization
errors that are proportional to the amplitude of quantization inputs. The
result applies to both convex and non-convex objective functions, and enables
us to exploit aggressive quantization schemes to obfuscate shared information,
and hence enables privacy protection without losing provable optimization
accuracy. In fact, by using a {stochastic} ternary quantization scheme, which
quantizes any value to three numerical levels, we achieve quantization-based
rigorous differential privacy in decentralized stochastic optimization, which
has not been reported before. In combination with the presented quantization
scheme, the proposed algorithm ensures, for the first time, rigorous
differential privacy in decentralized stochastic optimization without losing
provable convergence accuracy. Simulation results for a distributed estimation
problem as well as numerical experiments for decentralized learning on a
benchmark machine learning dataset confirm the effectiveness of the proposed
approach.
- Abstract(参考訳): 複数のエージェントが中央コーディネータを使わずにグローバル最適化問題を協調的に解決できるようにすることで、分散確率最適化は機械学習、制御、センサネットワークなど様々な分野で注目を集めている。
関連するデータは、通常、ユーザ位置や個人識別などの機密情報を含むため、分散確率最適化の実装において、プライバシー保護が重要な要件として浮上している。
本稿では,量子化入力の振幅に比例する積極的な量子化誤差が存在する場合でも,証明可能な収束精度を保証できる分散確率最適化アルゴリズムを提案する。
その結果,convexとnon-convexの両方の目的関数に適用でき,共有情報を難読化するために積極的な量子化スキームを活用できるため,有効な最適化精度を損なうことなくプライバシ保護が可能となる。
実際、任意の値を3つの数値レベルに量子化する {stochastic} 3次量子化スキームを用いて、分散確率最適化において量子化に基づく厳密な微分プライバシーを実現する。
提案した量子化スキームと組み合わせることで,提案アルゴリズムは,証明可能な収束精度を損なうことなく,分散確率最適化における厳密な微分プライバシを保証する。
分散推定問題のシミュレーション結果と、ベンチマーク機械学習データセット上での分散学習の数値実験により、提案手法の有効性が確認された。
関連論文リスト
- Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳(メタデータ) (2023-11-08T00:10:21Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-04T01:47:37Z) - Federated Distributionally Robust Optimization with Non-Convex
Objectives: Algorithm and Analysis [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳(メタデータ) (2023-07-25T01:56:57Z) - Decentralized Nonconvex Optimization with Guaranteed Privacy and
Accuracy [34.24521534464185]
プライバシ保護と中立性は、分散化された最適化学習の機密データにおいて難しい2つの問題である。
プライバシー保護と回避の両方を可能にするアルゴリズムを提案する。
このアルゴリズムは通信と計算の両方において効率的である。
論文 参考訳(メタデータ) (2022-12-14T22:36:13Z) - Distributed Distributionally Robust Optimization with Non-Convex
Objectives [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳(メタデータ) (2022-10-14T07:39:13Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳(メタデータ) (2022-05-08T14:38:23Z) - Evolutionary Optimization of High-Coverage Budgeted Classifiers [1.7767466724342065]
予算付き多機能分類器(MSC)プロセスは、部分的特徴取得および評価ステップのシーケンスを通じて入力される。
本稿では,不確定な予測のための端末拒否オプションを組み込んだ問題固有MSCを提案する。
アルゴリズムの設計は、一意化による集約性能の概念を尊重しながら効率を重視している。
論文 参考訳(メタデータ) (2021-10-25T16:03:07Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。
すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。
本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
論文 参考訳(メタデータ) (2020-10-23T10:35:35Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳(メタデータ) (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。