論文の概要: Differentially Private Distributed Convex Optimization
- arxiv url: http://arxiv.org/abs/2302.14514v1
- Date: Tue, 28 Feb 2023 12:07:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 16:43:17.506355
- Title: Differentially Private Distributed Convex Optimization
- Title(参考訳): 微分プライベート分散凸最適化
- Authors: Minseok Ryu and Kibaek Kim
- Abstract要約: 分散最適化では、複数のエージェントが協力し、局所的な目的の和として表される大域的目的関数を最小化する。
ローカルに保存されたデータは、他のエージェントと共有されないため、機密性の高いデータを持つアプリケーションにおけるDOの実用的使用を制限する可能性がある。
本稿では,制約付き凸最適化モデルに対するプライバシー保護型DOアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper considers distributed optimization (DO) where multiple agents
cooperate to minimize a global objective function, expressed as a sum of local
objectives, subject to some constraints. In DO, each agent iteratively solves a
local optimization model constructed by its own data and communicates some
information (e.g., a local solution) with its neighbors until a global solution
is obtained. Even though locally stored data are not shared with other agents,
it is still possible to reconstruct the data from the information communicated
among agents, which could limit the practical usage of DO in applications with
sensitive data. To address this issue, we propose a privacy-preserving DO
algorithm for constrained convex optimization models, which provides a
statistical guarantee of data privacy, known as differential privacy, and a
sequence of iterates that converges to an optimal solution in expectation. The
proposed algorithm generalizes a linearized alternating direction method of
multipliers by introducing a multiple local updates technique to reduce
communication costs and incorporating an objective perturbation method in the
local optimization models to compute and communicate randomized feasible local
solutions that cannot be utilized to reconstruct the local data, thus
preserving data privacy. Under the existence of convex constraints, we show
that, while both algorithms provide the same level of data privacy, the
objective perturbation used in the proposed algorithm can provide better
solutions than does the widely adopted output perturbation method that
randomizes the local solutions by adding some noise. We present the details of
privacy and convergence analyses and numerically demonstrate the effectiveness
of the proposed algorithm by applying it in two different applications, namely,
distributed control of power flow and federated learning, where data privacy is
of concern.
- Abstract(参考訳): 本稿では,複数のエージェントが協調して,局所目的の和として表されるグローバル目的関数を最小化する分散最適化(do)について検討する。
DOでは、各エージェントは、自身のデータによって構築された局所最適化モデルを反復的に解決し、グローバルなソリューションが得られるまで、いくつかの情報(例えば、ローカルソリューション)を隣人と通信する。
ローカルに保存されたデータは他のエージェントと共有されていないが、エージェント間で通信される情報からデータを再構築することは可能である。
この問題に対処するため、制約付き凸最適化モデルのためのプライバシ保存型DOアルゴリズムを提案し、差分プライバシーとして知られるデータプライバシの統計的保証と、期待する最適解に収束する反復列を提供する。
提案手法は,多重局所更新手法を導入して通信コストを低減し,局所最適化モデルに客観的摂動法を取り入れ,局所データの再構成に利用できないランダム化可能な局所解を計算・伝達し,データのプライバシーを保ちながら,乗算器の線形交替方向法を一般化する。
凸制約の存在下では,両アルゴリズムが同じレベルのデータプライバシーを提供する一方で,提案アルゴリズムで使用される客観的摂動は,雑音を付加することにより局所解をランダム化する広く採用されている出力摂動法よりも優れた解を提供できることを示す。
プライバシと収束分析の詳細を述べるとともに,データプライバシが懸念される分散型の電力フロー制御とフェデレーション学習という,2つの異なるアプリケーションに適用することで,提案アルゴリズムの有効性を数値的に実証する。
関連論文リスト
- Dynamic Privacy Allocation for Locally Differentially Private Federated
Learning with Composite Objectives [10.528569272279999]
本稿では,強い凸性を持つが非滑らかな問題に対する差分プライベートなフェデレーション学習アルゴリズムを提案する。
提案アルゴリズムは、共有情報に人工ノイズを加えてプライバシーを確保するとともに、時間変化のノイズ分散を動的に割り当て、最適化誤差の上限を最小化する。
解析結果から,提案手法が最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-02T13:30:33Z) - Personalized Graph Federated Learning with Differential Privacy [6.282767337715445]
本稿では、分散接続されたサーバとそのエッジデバイスが協調してデバイスやクラスタ固有のモデルを学習する、パーソナライズされたグラフフェデレーション学習(PGFL)フレームワークを提案する。
本稿では、差分プライバシー、特にノイズシーケンスがモデル交換を行うゼロ集中差分プライバシーを利用するPGFL実装の変種について検討する。
分析の結果,このアルゴリズムは,ゼロ集中型差分プライバシーの観点から,全クライアントの局所的な差分プライバシを保証することがわかった。
論文 参考訳(メタデータ) (2023-06-10T09:52:01Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss
Approximations [58.192338472631405]
FedLAP-DPは、フェデレーション学習のための新しいプライバシー保護アプローチである。
我々の定式化は、クライアントから受信した合成サンプルを活用することで、グローバルな最適化を可能にします。
プライバシーの懸念が高まりつつある中で、私たちのアプローチがレコードレベルの差分プライバシーとシームレスに機能することを実証しています。
論文 参考訳(メタデータ) (2023-02-02T12:56:46Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳(メタデータ) (2022-05-08T14:38:23Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。
提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。
また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
論文 参考訳(メタデータ) (2021-04-13T08:23:46Z) - A Federated Data-Driven Evolutionary Algorithm [10.609815608017065]
既存のデータ駆動進化最適化アルゴリズムでは、すべてのデータが中央に格納される必要がある。
本論文では,複数のデバイスに分散してデータ駆動型最適化を行うフェデレーションデータ駆動型進化型最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-16T17:18:54Z) - Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。
すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。
本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
論文 参考訳(メタデータ) (2020-10-23T10:35:35Z) - Communication-efficient distributed eigenspace estimation [31.69089186688224]
我々は,データ行列の先頭不変部分空間を計算するための通信効率のよい分散アルゴリズムを開発した。
提案アルゴリズムは局所解と参照解の間のプロクリスト距離を最小化する新しいアライメント方式を用いる。
本アルゴリズムは,集中型推定器と同様の誤差率を示す。
論文 参考訳(メタデータ) (2020-09-05T02:11:22Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳(メタデータ) (2020-07-07T18:25:25Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳(メタデータ) (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。