Fugu-MT 論文翻訳(概要): Private Non-Convex Federated Learning Without a Trusted Server

論文の概要: Private Non-Convex Federated Learning Without a Trusted Server

arxiv url: http://arxiv.org/abs/2203.06735v3
Date: Sun, 25 Jun 2023 17:49:27 GMT
ステータス: 処理完了
システム内更新日: 2023-06-28 01:27:08.581852
Title: Private Non-Convex Federated Learning Without a Trusted Server
Title（参考訳）: 信頼できるサーバを持たないプライベートな非凸フェデレーション学習
Authors: Andrew Lowy, Ali Ghafelebashi, Meisam Razaviyayn
Abstract要約: 非信頼の損失関数を持つクロスサイロ学習(FL)のための新しいアルゴリズムと、他のサイロを信頼していない人のデータを提案する。我々のアルゴリズムは、凸性やi.d.データを仮定することなく、ISRL-DP FLの最適凸、等質(すなわち等質)を達成する。数値実験により,我々のアルゴリズムは,ほとんどのプライバシレベルのベースラインよりも精度が高いことがわかった。
参考スコア（独自算出の注目度）: 7.971065005161566
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study federated learning (FL) -- especially cross-silo FL -- with non-convex loss functions and data from people who do not trust the server or other silos. In this setting, each silo (e.g. hospital) must protect the privacy of each person's data (e.g. patient's medical record), even if the server or other silos act as adversarial eavesdroppers. To that end, we consider inter-silo record-level (ISRL) differential privacy (DP), which requires silo~$i$'s communications to satisfy record/item-level DP. We propose novel ISRL-DP algorithms for FL with heterogeneous (non-i.i.d.) silo data and two classes of Lipschitz continuous loss functions: First, we consider losses satisfying the Proximal Polyak-Lojasiewicz (PL) inequality, which is an extension of the classical PL condition to the constrained setting. In contrast to our result, prior works only considered unconstrained private optimization with Lipschitz PL loss, which rules out most interesting PL losses such as strongly convex problems and linear/logistic regression. Our algorithms nearly attain the optimal strongly convex, homogeneous (i.i.d.) rate for ISRL-DP FL without assuming convexity or i.i.d. data. Second, we give the first private algorithms for non-convex non-smooth loss functions. Our utility bounds even improve on the state-of-the-art bounds for smooth losses. We complement our upper bounds with lower bounds. Additionally, we provide shuffle DP (SDP) algorithms that improve over the state-of-the-art central DP algorithms under more practical trust assumptions. Numerical experiments show that our algorithm has better accuracy than baselines for most privacy levels. All the codes are publicly available at: https://github.com/ghafeleb/Private-NonConvex-Federated-Learning-Without-a-Trusted-Server.
Abstract（参考訳）: 非凸損失関数とサーバや他のサイロを信頼していない人々のデータを用いて、連邦学習(FL)、特にクロスサイロFLについて研究する。この設定では、各サイロ(例えば病院)は、サーバまたは他のサイロが敵の盗聴者として機能しても、各個人のデータ(例えば患者の医療記録)のプライバシーを保護しなければならない。この目的のために、レコード/itemレベルのdpを満たすためにサイロ〜$i$の通信を必要とする、インターサイロレコードレベル(isrl)ディファレンシャルプライバシ(dp)を考える。本稿では,不均一(非i.i.d.)サイロデータとリプシッツ連続損失関数の2つのクラスを持つ fl に対する新しい isrl-dp アルゴリズムを提案する。我々の結果とは対照的に、先行研究はリプシッツpl損失による制約のないプライベート最適化のみを考慮し、強凸問題や線形・ロジスティック回帰といった最も興味深いpl損失を除外した。我々のアルゴリズムは、凸性やi.i.d.データを仮定することなく、isrl-dp flの最適強凸率(i.i.d.)をほぼ達成する。第二に、非凸非スムース損失関数に対する最初のプライベートアルゴリズムを与える。私たちのユーティリティ境界は、スムーズな損失のために最先端の境界をさらに改善します。我々は上界を下界で補う。さらに,より実用的な信頼条件下で,最先端の中央dpアルゴリズムを改良したshuffle dp (sdp) アルゴリズムを提供する。数値実験の結果,プライバシレベルのベースラインよりも精度が高いことがわかった。すべてのコードは、https://github.com/ghafeleb/Private-NonConvex-Federated-Learning-a-Trusted-Serverで公開されている。

関連論文リスト

A Stochastic Optimization Framework for Private and Fair Learning From Decentralized Data [14.748203847227542]
プライベート・フェア・フェデレーション・ラーニング(FL)のための新しいアルゴリズムを開発した。我々のアルゴリズムは、サイロ間レコードレベル差分プライバシー(ISRL-DP)を満たす。実験では、さまざまなプライバシレベルにわたるアルゴリズムのトレードオフとして、最先端の公正性・正確性フレームワークが実証されている。
論文参考訳（メタデータ） (2024-11-12T15:51:35Z)
Private Heterogeneous Federated Learning Without a Trusted Server Revisited: Error-Optimal and Communication-Efficient Algorithms for Convex Losses [12.620782629498812]
Inter-Silo Record-Level Differential Privacy (ISRL-DP)は、各サイロのデータ漏洩を防止する。異種サイロデータの存在下で最適な過大なリスク境界を実現する新しいISRL-DP FLアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-07-12T21:20:44Z)
Efficient Sparse Least Absolute Deviation Regression with Differential Privacy [10.414082115202003]
頑健な回帰問題に対する高速なプライバシー保護学習ソリューションを開発した。本アルゴリズムは,スパースLAD問題をペナル化最小二乗推定問題として修正し,高速な推定を実現する。我々のアルゴリズムは、最先端のプライバシ保存回帰アルゴリズムと比較して、より優れたプライバシーと統計的精度のトレードオフを実現することができることを示す。
論文参考訳（メタデータ） (2024-01-02T17:13:34Z)
Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。ソフトマージン条件下でのバニラQ関数の類似した結果を示す。我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
論文参考訳（メタデータ） (2023-02-05T14:22:41Z)
Selective Network Linearization for Efficient Private Inference [49.937470642033155]
本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
論文参考訳（メタデータ） (2022-02-04T19:00:24Z)
Locally Differentially Private Reinforcement Learning for Linear Mixture Markov Decision Processes [78.27542864367821]
強化学習(RL)アルゴリズムは、ユーザのプライベートで機密性の高いデータに依存するパーソナライズされたサービスを提供するために使用することができる。ユーザのプライバシを保護するために、プライバシ保護RLアルゴリズムが要求されている。線形混合MDPと呼ばれるマルコフ決定過程(MDP)のクラスを学習するための新しい$(varepsilon, delta)$-LDPアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-10-19T17:44:09Z)
Private Federated Learning Without a Trusted Server: Optimal Algorithms for Convex Losses [14.040676498310198]
シリコン間記録レベル差分プライバシー(ISRL-DP) シリコン間記録レベル差分プライバシー(ISRL-DP)
論文参考訳（メタデータ） (2021-06-17T19:41:23Z)
Output Perturbation for Differentially Private Convex Optimization with Improved Population Loss Bounds, Runtimes and Applications to Private Adversarial Training [12.386462516398469]
強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
論文参考訳（メタデータ） (2021-02-09T08:47:06Z)
Is Pessimism Provably Efficient for Offline RL? [104.00628430454479]
優先度を収集したデータセットに基づいて最適なポリシーを学ぶことを目的としたオフライン強化学習(RL)について検討する。ペナルティ関数として不確かさ量化器を組み込んだ値反復アルゴリズム(pevi)の悲観的変種を提案する。
論文参考訳（メタデータ） (2020-12-30T09:06:57Z)
SGD with shuffling: optimal rates without component convexity and large epoch requirements [60.65928290219793]
我々はRandomShuffle(各エポックの開始時のシャッフル)とSingleShuffle(1回だけシャッフル)を考える。我々はこれらのアルゴリズムの最小収束速度をポリログ係数ギャップまで確立する。我々は、すべての先行芸術に共通する欠点を取り除くことにより、RandomShuffleの厳密な収束結果をさらに強化する。
論文参考訳（メタデータ） (2020-06-12T05:00:44Z)
Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。