論文の概要: Differentially Private Random Feature Model

• arxiv url: http://arxiv.org/abs/2412.04785v1
• Date: Fri, 06 Dec 2024 05:31:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:37.748339
• Title: Differentially Private Random Feature Model
• Title（参考訳）: 差分私的乱数特徴モデル
• Authors: Chunyang Liao, Deanna Needell, Alexander Xue,
• Abstract要約: プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
• 参考スコア（独自算出の注目度）: 52.468511541184895
• License:
• Abstract: Designing privacy-preserving machine learning algorithms has received great attention in recent years, especially in the setting when the data contains sensitive information. Differential privacy (DP) is a widely used mechanism for data analysis with privacy guarantees. In this paper, we produce a differentially private random feature model. Random features, which were proposed to approximate large-scale kernel machines, have been used to study privacy-preserving kernel machines as well. We consider the over-parametrized regime (more features than samples) where the non-private random feature model is learned via solving the min-norm interpolation problem, and then we apply output perturbation techniques to produce a private model. We show that our method preserves privacy and derive a generalization error bound for the method. To the best of our knowledge, we are the first to consider privacy-preserving random feature models in the over-parametrized regime and provide theoretical guarantees. We empirically compare our method with other privacy-preserving learning methods in the literature as well. Our results show that our approach is superior to the other methods in terms of generalization performance on synthetic data and benchmark data sets. Additionally, it was recently observed that DP mechanisms may exhibit and exacerbate disparate impact, which means that the outcomes of DP learning algorithms vary significantly among different groups. We show that both theoretically and empirically, random features have the potential to reduce disparate impact, and hence achieve better fairness.
• Abstract（参考訳）: 近年,プライバシー保護機械学習アルゴリズムの設計に注目が集まっている。 差分プライバシー(DP)は、プライバシ保証を伴うデータ分析に広く用いられるメカニズムである。 本稿では,差分的にプライベートな特徴モデルを作成する。 大規模なカーネルマシンを近似するために提案されたランダム機能は、プライバシ保護カーネルマシンの研究にも使われている。 我々は、非プライベートなランダムな特徴モデルがmin-norm補間問題を解くことによって学習される過度なパラメータ化された状態(サンプルよりも多くの特徴)を考察し、出力摂動手法を適用してプライベートモデルを生成する。 本手法は,プライバシを保護し,一般化誤差を導出する。 我々の知る限りでは、我々は、過度にパラメータ化された体制におけるプライバシー保護のランダムな特徴モデルを検討し、理論的保証を提供する。 また,本手法を文献における他のプライバシー保護学習手法と実証的に比較した。 提案手法は,合成データとベンチマークデータセットの一般化性能において,他の手法よりも優れていることを示す。 さらに, DPのメカニズムは異なる影響を示し, 悪化させる可能性があり, DP学習アルゴリズムの結果は異なるグループ間で大きく異なることが示唆された。 理論的にも経験的にも、ランダムな特徴は、異なる影響を減らし、より良い公正性を達成する可能性があることを示す。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness [6.881974834597426]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 相関2値量子化を用いて差分プライバシーを実現するプライバシー機構であるCorBin-FLを導入する。 また,PLDP,ユーザレベル,サンプルレベルの中央差分プライバシー保証に加えて,AugCorBin-FLも提案する。
  論文  参考訳（メタデータ） (2024-09-20T00:23:44Z)
• Enforcing Privacy in Distributed Learning with Performance Guarantees [57.14673504239551]
  分散学習と最適化戦略の民営化について検討する。 グラフ構造に対して十分に調整されていないため, 一般的な加法的乱乱摂動方式は性能を低下させることを示す。
  論文  参考訳（メタデータ） (2023-01-16T13:03:27Z)
• Privacy Induces Robustness: Information-Computation Gaps and Sparse Mean Estimation [8.9598796481325]
  本稿では, アルゴリズムと計算複雑性の両面において, 異なる統計問題に対する観測結果について検討する。 プライベートスパース平均推定のための情報計算ギャップを確立する。 また、プライバシーによって引き起こされる情報計算のギャップを、いくつかの統計や学習問題に対して証明する。
  論文  参考訳（メタデータ） (2022-11-01T20:03:41Z)
• Differentially private multivariate medians [4.588028371034407]
  差分的にプライベートな深度に基づく中央値に対する新しい有限サンプル性能保証法を開発した。 Cauchyの限界の下では、重み付けされた位置推定のコストがプライバシーのコストよりも高いことを示している。
  論文  参考訳（メタデータ） (2022-10-12T17:56:04Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
  本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。 当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-08T18:00:01Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。