論文の概要: Differential Privacy with Random Projections and Sign Random Projections
- arxiv url: http://arxiv.org/abs/2306.01751v1
- Date: Mon, 22 May 2023 16:33:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-11 14:07:02.256350
- Title: Differential Privacy with Random Projections and Sign Random Projections
- Title（参考訳）: ランダムプロジェクションとサインランダムプロジェクションによる差分プライバシー
- Authors: Ping Li and Xiaoyun Li
- Abstract要約: textbfiDP-SignRPは個人差分プライバシーの設定において極めて効果的である」
本研究では,TextbfiDP-SignRPが検索および機械学習アプリケーションに極めて有効であることが確認された。
- 参考スコア（独自算出の注目度）: 37.6593006747285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we develop a series of differential privacy (DP) algorithms
from a family of random projections (RP), for general applications in machine
learning, data mining, and information retrieval. Among the presented
algorithms, \textbf{iDP-SignRP} is remarkably effective under the setting of
``individual differential privacy'' (iDP), based on sign random projections
(SignRP). Also, \textbf{DP-SignOPORP} considerably improves existing algorithms
in the literature under the standard DP setting, using ``one permutation + one
random projection'' (OPORP), where OPORP is a variant of the celebrated
count-sketch method with fixed-length binning and normalization. Without taking
signs, among the DP-RP family, \textbf{DP-OPORP} achieves the best performance.
The concept of iDP (individual differential privacy) is defined only on a
particular dataset of interest. While iDP is not strictly DP, iDP might be
useful in certain applications, such as releasing a dataset (including sharing
embeddings across companies or countries). In our study, we find that
\textbf{iDP-SignRP} is remarkably effective for search and machine learning
applications, in that the utilities are exceptionally good even at a very small
privacy parameter $\epsilon$ (e.g., $\epsilon<0.5$).
- Abstract（参考訳）: 本稿では,機械学習,データマイニング,情報検索の一般的な応用のために,ランダム射影(rp)群を用いた差分プライバシー(dp)アルゴリズムを開発した。
提案アルゴリズムのうち, 符号乱射影 (SignRP) に基づく 'individual differential privacy'' (iDP) の設定では, 極めて効果的である。
また、\textbf{dp-signoporp} は ``one permutation + one random projection''' (oporp) を用いて、標準dp設定の文学における既存のアルゴリズムを大幅に改善している。
DP-RP ファミリーの中では、サインを取らずに \textbf{DP-OPORP} は最高のパフォーマンスを達成する。
iDP(個人差分プライバシー)の概念は、特定の関心のデータセットにのみ定義されている。
iDPは厳密にはDPではないが、iDPはデータセット(企業や国間で埋め込みを共有することを含む)などの特定のアプリケーションで有用かもしれない。
今回の研究では,検索および機械学習アプリケーションにおいて,‘textbf{iDP-SignRP} が極めて有効であること,非常に小さなプライバシパラメータ$\epsilon$(例えば$\epsilon<0.5$)であっても,ユーティリティが極めて優れていること,などが確認された。
関連論文リスト
- Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。
我々は、最先端技術にマッチする会員推定のバウンダリを得る。
属性推論に対する新しいデータ依存型バウンダリを提案する。
論文 参考訳（メタデータ） (2024-02-22T09:26:16Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。
われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
論文 参考訳（メタデータ） (2021-12-29T07:32:29Z) - Optimal Accounting of Differential Privacy via Characteristic Function [25.78065563380023]
本稿では,プライバシ・プロフィール,プライバシ・プロファイル,$f$-DP,PLDフォーマリズムなどの最近の進歩を,ある最悪のケースのプライバシ・ロスランダム変数の特徴関数(phi$-function)を介して統一することを提案する。
我々のアプローチは、Renyi DPのような自然適応的な構成を可能にし、PDDのような厳密なプライバシ会計を提供し、プライバシープロファイルや$f$-DPに変換できることが示されています。
論文 参考訳（メタデータ） (2021-06-16T06:13:23Z) - Lossless Compression of Efficient Private Local Randomizers [55.657133416044104]
Locally Differentially Private (LDP) Reportsは、フェデレーション設定における統計と機械学習の収集に一般的に使用されます。
多くの場合、最もよく知られたldpアルゴリズムは、クライアントデバイスからサーバに強制的に大きなメッセージを送信する必要がある。
これにより、LDPアルゴリズムの通信コストの削減に大きく貢献しています。
論文 参考訳（メタデータ） (2021-02-24T07:04:30Z) - Proactive DP: A Multple Target Optimization Framework for DP-SGD [22.663029794467768]
本稿では,プロアクティブDPと呼ばれるDP-SGDの多目的最適化フレームワークを提案する。
プロアクティブDP方式では、固定されたプライバシー予算に基づいてDP-SGDのパラメータをa-prioriに選択することができる。
DP-SGDセットアップの全てのパラメータを接続するクローズドフォーム$(epsilon,delta)$-DP保証を提供する。
論文 参考訳（メタデータ） (2021-02-17T21:19:39Z) - RL for Latent MDPs: Regret Guarantees and a Lower Bound [74.41782017817808]
後期マルコフ決定過程(LMDP)における強化学習における後悔問題の検討
LMDPにおいて、M$可能なMDPのセットからMDPをランダムに描画するが、選択したMDPの同一性はエージェントに明らかにしない。
鍵となるリンクは、MDPシステムの力学の分離の概念であることを示す。
論文 参考訳（メタデータ） (2021-02-09T16:49:58Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。