Fugu-MT 論文翻訳(概要): Private Non-Convex Federated Learning Without a Trusted Server

論文の概要: Private Non-Convex Federated Learning Without a Trusted Server

arxiv url: http://arxiv.org/abs/2203.06735v1
Date: Sun, 13 Mar 2022 19:17:15 GMT
ステータス: 処理完了
システム内更新日: 2022-03-16 07:32:58.425721
Title: Private Non-Convex Federated Learning Without a Trusted Server
Title（参考訳）: 信頼できるサーバを持たないプライベートな非凸フェデレーション学習
Authors: Andrew Lowy, Ali Ghafelebashi, Meisam Razaviyayn
Abstract要約: 非滑らかな損失関数と不均質な(非i.d.)クライアントデータを用いたDP学習を差分的に行う。クライアントレベルでの差分ローカルDPLを満たす新しいプライバシアルゴリズムを提案する。私たちのバウンダリは、単一のクライアントの特別なケースであっても、最先端の状態を改善します。
参考スコア（独自算出の注目度）: 7.971065005161566
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We study differentially private (DP) federated learning (FL) with non-convex loss functions and heterogeneous (non-i.i.d.) client data in the absence of a trusted server, both with and without a secure "shuffler" to anonymize client reports. We propose novel algorithms that satisfy local differential privacy (LDP) at the client level and shuffle differential privacy (SDP) for three classes of Lipschitz continuous loss functions: First, we consider losses satisfying the Proximal Polyak-Lojasiewicz (PL) inequality, which is an extension of the classical PL condition to the constrained setting. Prior works studying DP PL optimization only consider the unconstrained problem with Lipschitz loss functions, which rules out many interesting practical losses, such as strongly convex, least squares, and regularized logistic regression. However, by analyzing the proximal PL scenario, we permit such losses which are Lipschitz on a restricted parameter domain. We propose LDP and SDP algorithms that nearly attain the optimal strongly convex, homogeneous (i.i.d.) rates. Second, we provide the first DP algorithms for non-convex/non-smooth loss functions. Third, we specialize our analysis to smooth, unconstrained non-convex FL. Our bounds improve on the state-of-the-art, even in the special case of a single client, and match the non-private lower bound in certain practical parameter regimes. Numerical experiments show that our algorithm yields better accuracy than baselines for most privacy levels.
Abstract（参考訳）: 非凸損失関数と不均質な(非等質な)クライアントデータを持つ差分プライベート(DP)フェデレーション学習(FL)について,クライアントレポートを匿名化するためのセキュアな「シャフラー」なしで,信頼されたサーバがない場合に検討する。本稿では,Lipschitz連続損失関数の3つのクラスに対して,クライアントレベルでの局所差分プライバシー(LDP)とシャッフル差分プライバシー(SDP)を満たす新しいアルゴリズムを提案する。 dp pl最適化の研究は、強凸、最小二乗、正規化ロジスティック回帰など、多くの興味深い実用的損失を除外するリプシッツ損失関数の制約のない問題のみを考慮に入れている。しかし、近位plシナリオを解析することにより、制限パラメータ領域上のリプシッツとなるような損失を許容する。最適凸, 等質(d.d.)速度をほぼ達成できる LDP および SDP アルゴリズムを提案する。次に,非凸・非スムース損失関数に対する最初のdpアルゴリズムを提案する。第3に, 解析を滑らかで制約のない非凸flに特化する。私たちの境界は、単一のクライアントの特別な場合でさえ、最先端に改善され、特定の実用的なパラメータレジームにおける非プライベートな下限に適合します。数値実験の結果,プライバシレベルのベースラインよりも精度がよいことがわかった。

関連論文リスト

A Stochastic Optimization Framework for Private and Fair Learning From Decentralized Data [14.748203847227542]
プライベート・フェア・フェデレーション・ラーニング(FL)のための新しいアルゴリズムを開発した。我々のアルゴリズムは、サイロ間レコードレベル差分プライバシー(ISRL-DP)を満たす。実験では、さまざまなプライバシレベルにわたるアルゴリズムのトレードオフとして、最先端の公正性・正確性フレームワークが実証されている。
論文参考訳（メタデータ） (2024-11-12T15:51:35Z)
Private Heterogeneous Federated Learning Without a Trusted Server Revisited: Error-Optimal and Communication-Efficient Algorithms for Convex Losses [12.620782629498812]
Inter-Silo Record-Level Differential Privacy (ISRL-DP)は、各サイロのデータ漏洩を防止する。異種サイロデータの存在下で最適な過大なリスク境界を実現する新しいISRL-DP FLアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-07-12T21:20:44Z)
Efficient Sparse Least Absolute Deviation Regression with Differential Privacy [10.414082115202003]
頑健な回帰問題に対する高速なプライバシー保護学習ソリューションを開発した。本アルゴリズムは,スパースLAD問題をペナル化最小二乗推定問題として修正し,高速な推定を実現する。我々のアルゴリズムは、最先端のプライバシ保存回帰アルゴリズムと比較して、より優れたプライバシーと統計的精度のトレードオフを実現することができることを示す。
論文参考訳（メタデータ） (2024-01-02T17:13:34Z)
Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。ソフトマージン条件下でのバニラQ関数の類似した結果を示す。我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
論文参考訳（メタデータ） (2023-02-05T14:22:41Z)
Selective Network Linearization for Efficient Private Inference [49.937470642033155]
本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
論文参考訳（メタデータ） (2022-02-04T19:00:24Z)
Locally Differentially Private Reinforcement Learning for Linear Mixture Markov Decision Processes [78.27542864367821]
強化学習(RL)アルゴリズムは、ユーザのプライベートで機密性の高いデータに依存するパーソナライズされたサービスを提供するために使用することができる。ユーザのプライバシを保護するために、プライバシ保護RLアルゴリズムが要求されている。線形混合MDPと呼ばれるマルコフ決定過程(MDP)のクラスを学習するための新しい$(varepsilon, delta)$-LDPアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-10-19T17:44:09Z)
Private Federated Learning Without a Trusted Server: Optimal Algorithms for Convex Losses [14.040676498310198]
シリコン間記録レベル差分プライバシー(ISRL-DP) シリコン間記録レベル差分プライバシー(ISRL-DP)
論文参考訳（メタデータ） (2021-06-17T19:41:23Z)
Output Perturbation for Differentially Private Convex Optimization with Improved Population Loss Bounds, Runtimes and Applications to Private Adversarial Training [12.386462516398469]
強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
論文参考訳（メタデータ） (2021-02-09T08:47:06Z)
Is Pessimism Provably Efficient for Offline RL? [104.00628430454479]
優先度を収集したデータセットに基づいて最適なポリシーを学ぶことを目的としたオフライン強化学習(RL)について検討する。ペナルティ関数として不確かさ量化器を組み込んだ値反復アルゴリズム(pevi)の悲観的変種を提案する。
論文参考訳（メタデータ） (2020-12-30T09:06:57Z)
SGD with shuffling: optimal rates without component convexity and large epoch requirements [60.65928290219793]
我々はRandomShuffle(各エポックの開始時のシャッフル)とSingleShuffle(1回だけシャッフル)を考える。我々はこれらのアルゴリズムの最小収束速度をポリログ係数ギャップまで確立する。我々は、すべての先行芸術に共通する欠点を取り除くことにより、RandomShuffleの厳密な収束結果をさらに強化する。
論文参考訳（メタデータ） (2020-06-12T05:00:44Z)
Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。