論文の概要: Differentially Private Learning with Margin Guarantees

• arxiv url: http://arxiv.org/abs/2204.10376v1
• Date: Thu, 21 Apr 2022 19:12:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 02:09:50.626299
• Title: Differentially Private Learning with Margin Guarantees
• Title（参考訳）: Margin Guaranteeによる差分私的学習
• Authors: Raef Bassily, Mehryar Mohri, Ananda Theertha Suresh
• Abstract要約: 我々は,次元非依存のマージン保証を備えた新しい差分プライベート(DP)アルゴリズムを提案する。 線形仮説の族に対しては、相対的な偏差マージン保証の恩恵を受ける純粋DP学習アルゴリズムを提供する。 また,カーネルベースの仮説に対するマージン保証を備えたDP学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 48.83724068578305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a series of new differentially private (DP) algorithms with dimension-independent margin guarantees. For the family of linear hypotheses, we give a pure DP learning algorithm that benefits from relative deviation margin guarantees, as well as an efficient DP learning algorithm with margin guarantees. We also present a new efficient DP learning algorithm with margin guarantees for kernel-based hypotheses with shift-invariant kernels, such as Gaussian kernels, and point out how our results can be extended to other kernels using oblivious sketching techniques. We further give a pure DP learning algorithm for a family of feed-forward neural networks for which we prove margin guarantees that are independent of the input dimension. Additionally, we describe a general label DP learning algorithm, which benefits from relative deviation margin bounds and is applicable to a broad family of hypothesis sets, including that of neural networks. Finally, we show how our DP learning algorithms can be augmented in a general way to include model selection, to select the best confidence margin parameter.
• Abstract（参考訳）: 我々は,次元非依存のマージン保証を備えた新しい差分プライベート(DP)アルゴリズムを提案する。 線形仮説の族に対しては、相対偏差マージン保証の恩恵を受ける純粋DP学習アルゴリズムと、マージン保証の効率的なDP学習アルゴリズムを提供する。 また,gaussian kernelsなどのシフト不変カーネルを用いたカーネルベース仮説に対するマージン保証を備えた,新しい効率的なdp学習アルゴリズムを提案する。 さらに、入力次元に依存しないマージン保証を証明するために、フィードフォワードニューラルネットワークの族に対して純粋なDP学習アルゴリズムを提供する。 さらに,一般ラベルdp学習アルゴリズムについて述べる。このアルゴリズムは,相対偏差限界の利点を享受し,ニューラルネットワークを含む幅広い仮説集合に適用できる。 最後に、モデル選択を含む一般的な方法でDP学習アルゴリズムをどのように拡張し、最良の信頼率パラメータを選択するかを示す。

関連論文リスト

• Private Networked Federated Learning for Nonsmooth Objectives [7.278228169713637]
  本稿では,非平滑な目的関数を解くためのネットワーク型フェデレーション学習アルゴリズムを提案する。 参加者の秘密性を保証するため、ゼロ集中型微分プライバシー概念(zCDP)を用いる。 プライバシ保証とアルゴリズムの正確な解への収束の完全な理論的証明を提供する。
  論文  参考訳（メタデータ） (2023-06-24T16:13:28Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• On Private Online Convex Optimization: Optimal Algorithms in $\ell_p$-Geometry and High Dimensional Contextual Bandits [9.798304879986604]
  本研究では,分散分布からサンプリングしたストリーミングデータを用いてDPの凸最適化問題について検討し,逐次到着する。 また、プライベート情報に関連するパラメータを更新し、新しいデータ(しばしばオンラインアルゴリズム)に基づいてリリースする連続リリースモデルについても検討する。 提案アルゴリズムは,1pleq 2$のときの最適余剰リスクと,2pleqinfty$のときの非プライベートな場合の最先端の余剰リスクを線形時間で達成する。
  論文  参考訳（メタデータ） (2022-06-16T12:09:47Z)
• Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates [0.0]
  我々は,複数の局所的な更新を施した乗算器アルゴリズムのDP不正確な交互方向法を開発した。 当社のアルゴリズムでは,各イテレーション毎に$barepsilon$-DPを提供しており,$barepsilon$はユーザが管理するプライバシ予算である。 提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも31%削減すると同時に,データプライバシのレベルが同じであることを実証する。
  論文  参考訳（メタデータ） (2022-02-18T19:58:47Z)
• Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
  我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。 また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
  論文  参考訳（メタデータ） (2021-10-27T04:11:06Z)
• Uniform-PAC Bounds for Reinforcement Learning with Linear Function Approximation [92.3161051419884]
  線形関数近似を用いた強化学習について検討する。 既存のアルゴリズムは、高い確率的後悔と/またはおよそ正当性(PAC)サンプルの複雑さの保証しか持たない。 我々はFLUTEと呼ばれる新しいアルゴリズムを提案し、高い確率で最適ポリシーへの均一PAC収束を享受する。
  論文  参考訳（メタデータ） (2021-06-22T08:48:56Z)
• Differentially Private Federated Learning via Inexact ADMM [0.0]
  差分プライバシー(DP)技術は、データプライバシを推論攻撃から保護するために、フェデレーション付き学習モデルに適用することができる。 我々は,信頼領域のサブプロブレム列を解く乗算器アルゴリズムのDP不正確な交互方向法を開発した。 提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも22%削減すると同時に,データプライバシのレベルも同等に向上する。
  論文  参考訳（メタデータ） (2021-06-11T02:28:07Z)
• No-Regret Algorithms for Private Gaussian Process Bandit Optimization [13.660643701487002]
  プライバシー保護統計のレンズによるガウス過程(GP)帯域最適化の至るところでの問題点を考察する。 均一なカーネル近似器とランダムな摂動を組み合わせた差分プライベートGPバンディット最適化のためのソリューションを提案する。 我々のアルゴリズムは最適化手順を通して微分プライバシを保持し、予測のためのサンプルパスに明示的に依存しない。
  論文  参考訳（メタデータ） (2021-02-24T18:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。