論文の概要: Decentralized Nonconvex Optimization with Guaranteed Privacy and Accuracy

• arxiv url: http://arxiv.org/abs/2212.07534v1
• Date: Wed, 14 Dec 2022 22:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 17:53:57.786554
• Title: Decentralized Nonconvex Optimization with Guaranteed Privacy and Accuracy
• Title（参考訳）: プライバシーと正確性を保証した分散非凸最適化
• Authors: Yongqiang Wang, Tamer Basar
• Abstract要約: プライバシ保護と中立性は、分散化された最適化学習の機密データにおいて難しい2つの問題である。 プライバシー保護と回避の両方を可能にするアルゴリズムを提案する。 このアルゴリズムは通信と計算の両方において効率的である。
• 参考スコア（独自算出の注目度）: 34.24521534464185
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Privacy protection and nonconvexity are two challenging problems in decentralized optimization and learning involving sensitive data. Despite some recent advances addressing each of the two problems separately, no results have been reported that have theoretical guarantees on both privacy protection and saddle/maximum avoidance in decentralized nonconvex optimization. We propose a new algorithm for decentralized nonconvex optimization that can enable both rigorous differential privacy and saddle/maximum avoiding performance. The new algorithm allows the incorporation of persistent additive noise to enable rigorous differential privacy for data samples, gradients, and intermediate optimization variables without losing provable convergence, and thus circumventing the dilemma of trading accuracy for privacy in differential privacy design. More interestingly, the algorithm is theoretically proven to be able to efficiently { guarantee accuracy by avoiding} convergence to local maxima and saddle points, which has not been reported before in the literature on decentralized nonconvex optimization. The algorithm is efficient in both communication (it only shares one variable in each iteration) and computation (it is encryption-free), and hence is promising for large-scale nonconvex optimization and learning involving high-dimensional optimization parameters. Numerical experiments for both a decentralized estimation problem and an Independent Component Analysis (ICA) problem confirm the effectiveness of the proposed approach.
• Abstract（参考訳）: プライバシ保護と非凸性は、機密データを含む分散最適化と学習における2つの難しい問題である。 2つの問題のそれぞれを別々に扱う最近の進歩にもかかわらず、分散非凸最適化におけるプライバシー保護とサドル/最大回避の両方について理論的に保証された結果は報告されていない。 本稿では,厳密な差分プライバシーとサドル/最大性能の両方を回避できる分散非凸最適化アルゴリズムを提案する。 この新しいアルゴリズムは、永続的な付加雑音を組み込むことで、データサンプル、勾配、中間最適化変数の厳密な微分プライバシーを証明可能な収束性を失うことなく実現し、微分プライバシー設計におけるプライバシーの取引精度のジレンマを回避する。 さらに興味深いことに、このアルゴリズムは局所的な最大点とサドル点への収束を回避して効率よく精度を保証できることが理論的に証明されている。 このアルゴリズムは通信(各イテレーションで1つの変数しか共有しない)と計算(暗号化なし)の両方で効率的であり、したがって高次元最適化パラメータを含む大規模非凸最適化と学習を約束している。 分散推定問題と独立成分分析(ICA)問題の両方に対する数値実験により,提案手法の有効性が確認された。

関連論文リスト

• Quantization Avoids Saddle Points in Distributed Optimization [1.579622195923387]
  分散非最適化は、多くの分散システムの重要な機能を支える。 本研究の目的は,サドル点収束を2次定常点収束に効果的に回避できることを示すことである。 簡単に調整可能な量子化により、ユーザの制御により、通信オーバーヘッドを積極的に削減できる。
  論文  参考訳（メタデータ） (2024-03-15T15:58:20Z)
• Private Networked Federated Learning for Nonsmooth Objectives [7.278228169713637]
  本稿では,非平滑な目的関数を解くためのネットワーク型フェデレーション学習アルゴリズムを提案する。 参加者の秘密性を保証するため、ゼロ集中型微分プライバシー概念(zCDP)を用いる。 プライバシ保証とアルゴリズムの正確な解への収束の完全な理論的証明を提供する。
  論文  参考訳（メタデータ） (2023-06-24T16:13:28Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Quantization enabled Privacy Protection in Decentralized Stochastic Optimization [34.24521534464185]
  分散最適化は、機械学習、制御、センサーネットワークのように多様な領域で使用することができる。 プライバシー保護は、分散最適化の実装において重要な必要性として浮上している。 本稿では,アグレッシブ量子化誤差が存在する場合でも,証明可能な収束精度を保証できるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-07T15:17:23Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• No-Regret Algorithms for Private Gaussian Process Bandit Optimization [13.660643701487002]
  プライバシー保護統計のレンズによるガウス過程(GP)帯域最適化の至るところでの問題点を考察する。 均一なカーネル近似器とランダムな摂動を組み合わせた差分プライベートGPバンディット最適化のためのソリューションを提案する。 我々のアルゴリズムは最適化手順を通して微分プライバシを保持し、予測のためのサンプルパスに明示的に依存しない。
  論文  参考訳（メタデータ） (2021-02-24T18:52:24Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• New Oracle-Efficient Algorithms for Private Synthetic Data Release [52.33506193761153]
  微分プライベートな合成データを構築するための3つの新しいアルゴリズムを提案する。 アルゴリズムは最悪の場合でも差分プライバシーを満たす。 現状の手法である高次元行列機構 citeMcKennaMHM18 と比較すると,我々のアルゴリズムは大規模作業負荷の精度が向上する。
  論文  参考訳（メタデータ） (2020-07-10T15:46:05Z)
• Bilevel Optimization for Differentially Private Optimization in Energy Systems [53.806512366696275]
  本稿では,入力に敏感な制約付き最適化問題に対して,差分プライバシーを適用する方法について検討する。 本稿は, 自然仮定の下では, 大規模非線形最適化問題に対して, 双レベルモデルを効率的に解けることを示す。
  論文  参考訳（メタデータ） (2020-01-26T20:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。