論文の概要: "Private Prediction Strikes Back!'' Private Kernelized Nearest Neighbors with Individual Renyi Filter

• arxiv url: http://arxiv.org/abs/2306.07381v1
• Date: Mon, 12 Jun 2023 19:14:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 15:56:53.792950
• Title: "Private Prediction Strikes Back!'' Private Kernelized Nearest Neighbors with Individual Renyi Filter
• Title（参考訳）: 個別のrenyiフィルタを用いた「個人予測が反撃!」
• Authors: Yuqing Zhu, Xuandong Zhao, Chuan Guo, Yu-Xiang Wang
• Abstract要約: Ind-KNN(Personalized Nearest Neighbor)というアルゴリズムを提案する。 Ind-KNNはデータセットの変更に対して容易に更新可能であり、個々のユーザレベルでR'enyiを正確に制御できる。 以上の結果から,Ind-KNNは4つの視覚および言語タスクにおいて,既存のプライベート予測手法よりも,幅広い$epsilon$の精度を一貫して向上させることがわかった。
• 参考スコア（独自算出の注目度）: 31.970442970375153
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Most existing approaches of differentially private (DP) machine learning focus on private training. Despite its many advantages, private training lacks the flexibility in adapting to incremental changes to the training dataset such as deletion requests from exercising GDPR's right to be forgotten. We revisit a long-forgotten alternative, known as private prediction, and propose a new algorithm named Individual Kernelized Nearest Neighbor (Ind-KNN). Ind-KNN is easily updatable over dataset changes and it allows precise control of the R\'{e}nyi DP at an individual user level -- a user's privacy loss is measured by the exact amount of her contribution to predictions; and a user is removed if her prescribed privacy budget runs out. Our results show that Ind-KNN consistently improves the accuracy over existing private prediction methods for a wide range of $\epsilon$ on four vision and language tasks. We also illustrate several cases under which Ind-KNN is preferable over private training with NoisySGD.
• Abstract（参考訳）: 微分プライベート(DP)機械学習の既存のアプローチは、プライベートトレーニングに重点を置いている。 その多くの利点にもかかわらず、プライベートトレーニングは、GDPRの忘れられる権利を行使する削除要求のようなトレーニングデータセットへの漸進的な変更に適応する柔軟性に欠ける。 我々は,プライベート予測 (private prediction) と呼ばれる長大な代替案を再検討し, 個別カーネル化近接近傍 (ind-knn) と呼ばれる新しいアルゴリズムを提案する。 Ind-KNNはデータセットの変更に対して容易に更新可能であり、個々のユーザレベルでR\'{e}nyi DPの正確なコントロールを可能にする。 以上の結果から,Ind-KNNは4つの視覚および言語タスクにおいて,既存のプライベート予測手法よりも常に精度を向上することを示す。 Ind-KNNがNoisySGDのプライベートトレーニングよりも望ましい事例もいくつか紹介する。

関連論文リスト

• Beyond the Mean: Differentially Private Prototypes for Private Transfer Learning [16.028575596905554]
  本稿では,個人間移動学習の新たなパラダイムとして,DPPL(differially Private Prototype Learning)を提案する。 DPPLは、埋め込み空間内の各プライベートクラスを表すプロトタイプを生成し、推論のために公開することができる。 エンコーダの事前トレーニング以上の公開データを活用すれば,プライバシユーティリティのトレードオフをさらに改善できることを示す。
  論文  参考訳（メタデータ） (2024-06-12T09:41:12Z)
• Privacy Profiles for Private Selection [21.162924003105484]
  私たちは、ReportNoisyMaxとPrivateTuningのプライバシプロファイルを、それらが相関するベースアルゴリズムのプライバシプロファイルを使ってバウンドする、使いやすいレシピを開発しています。 このアプローチはすべての利害関係を改善し、エンドツーエンドのプライベート学習実験において大きなメリットをもたらす。
  論文  参考訳（メタデータ） (2024-02-09T08:31:46Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [54.24600476755372]
  DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。 DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders [26.658723213776632]
  DP保証付き変分オートエンコーダ(VAE)のトレーニング機構であるDP$2$-VAEを提案する。 さまざまなプライバシ予算と評価指標の下で,ベースラインよりも優位性を示すために,画像データセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2022-08-05T23:57:34Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Improved Regret for Differentially Private Exploration in Linear MDP [31.567811502343552]
  医療記録などのセンシティブなデータに依存する環境におけるシーケンシャルな意思決定におけるプライバシ保護探索について検討する。 我々は、エピソード数に対して$O(sqrtK)$を最適に依存した、改善された後悔率を持つプライベートアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-02-02T21:32:09Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。