論文の概要: Differential Privacy with Random Projections and Sign Random Projections

• arxiv url: http://arxiv.org/abs/2306.01751v2
• Date: Tue, 13 Jun 2023 10:08:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 16:46:00.805179
• Title: Differential Privacy with Random Projections and Sign Random Projections
• Title（参考訳）: ランダムプロジェクションとサインランダムプロジェクションによる差分プライバシー
• Authors: Ping Li and Xiaoyun Li
• Abstract要約: iDP-SignRPは個人差分プライバシ設定(iDP)において極めて効果的である DP-SignOPORPは、標準のDP設定の下で既存のアルゴリズムを大幅に改善する。
• 参考スコア（独自算出の注目度）: 37.6593006747285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we develop a series of differential privacy (DP) algorithms from a family of random projections (RP) for general applications in machine learning, data mining, and information retrieval. Among the presented algorithms, iDP-SignRP is remarkably effective under the setting of ``individual differential privacy'' (iDP), based on sign random projections (SignRP). Also, DP-SignOPORP considerably improves existing algorithms in the literature under the standard DP setting, using ``one permutation + one random projection'' (OPORP), where OPORP is a variant of the celebrated count-sketch method with fixed-length binning and normalization. Without taking signs, among the DP-RP family, DP-OPORP achieves the best performance. Our key idea for improving DP-RP is to take only the signs, i.e., $sign(x_j) = sign\left(\sum_{i=1}^p u_i w_{ij}\right)$, of the projected data. The intuition is that the signs often remain unchanged when the original data ($u$) exhibit small changes (according to the ``neighbor'' definition in DP). In other words, the aggregation and quantization operations themselves provide good privacy protections. We develop a technique called ``smooth flipping probability'' that incorporates this intuitive privacy benefit of SignRPs and improves the standard DP bit flipping strategy. Based on this technique, we propose DP-SignOPORP which satisfies strict DP and outperforms other DP variants based on SignRP (and RP), especially when $\epsilon$ is not very large (e.g., $\epsilon = 5\sim10$). Moreover, if an application scenario accepts individual DP, then we immediately obtain an algorithm named iDP-SignRP which achieves excellent utilities even at small~$\epsilon$ (e.g., $\epsilon<0.5$).
• Abstract（参考訳）: 本稿では,機械学習,データマイニング,情報検索における一般応用のための,ランダムプロジェクション(RP)のファミリから,一連の差分プライバシ(DP)アルゴリズムを開発する。 提案アルゴリズムのうち,iDP-SignRP は,符号ランダム予測(SignRP)に基づく 'individual differential privacy'' (iDP) の設定において極めて有効である。 また、DP-SignOPORP は '`one permutation + one random projection'' (OPORP) を用いて、文献における既存のアルゴリズムを大幅に改善する。 DP-RPファミリーの中では、DP-OPORPが最高のパフォーマンスを達成する。 DP-RPの改善の鍵となる考え方は、投影されたデータの符号、すなわち$sign(x_j) = sign\left(\sum_{i=1}^p u_i w_{ij}\right)$のみを取ることである。 直観的には、元のデータ(u$)が小さな変更(DPの `neighbor' の定義による)を示すとき、記号はしばしば変化しない。 言い換えれば、集約と量子化操作自体が優れたプライバシー保護を提供する。 我々は,SignRPの直感的なプライバシー保護を取り入れた 'smooth flipping probability' と呼ばれる手法を開発し,標準DPビットフリップ戦略を改善した。 この手法に基づき、厳密なDPを満たすDP-SignOPORPを提案し、特に$\epsilon$があまり大きくない場合(例えば$\epsilon = 5\sim10$)、SignRP(およびRP)に基づく他のDP変種よりも優れている。 さらに、アプリケーションシナリオが個々のDPを受け入れた場合、直ちにiDP-SignRPというアルゴリズムが得られ、小額の$\epsilon$(例えば$\epsilon<0.5$)でも優れたユーティリティを実現する。

関連論文リスト

• Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
  我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。 我々は、最先端技術にマッチする会員推定のバウンダリを得る。 属性推論に対する新しいデータ依存型バウンダリを提案する。
  論文  参考訳（メタデータ） (2024-02-22T09:26:16Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
  DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。 われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
  論文  参考訳（メタデータ） (2021-12-29T07:32:29Z)
• Optimal Accounting of Differential Privacy via Characteristic Function [25.78065563380023]
  本稿では,プライバシ・プロフィール,プライバシ・プロファイル,$f$-DP,PLDフォーマリズムなどの最近の進歩を,ある最悪のケースのプライバシ・ロスランダム変数の特徴関数(phi$-function)を介して統一することを提案する。 我々のアプローチは、Renyi DPのような自然適応的な構成を可能にし、PDDのような厳密なプライバシ会計を提供し、プライバシープロファイルや$f$-DPに変換できることが示されています。
  論文  参考訳（メタデータ） (2021-06-16T06:13:23Z)
• Lossless Compression of Efficient Private Local Randomizers [55.657133416044104]
  Locally Differentially Private (LDP) Reportsは、フェデレーション設定における統計と機械学習の収集に一般的に使用されます。 多くの場合、最もよく知られたldpアルゴリズムは、クライアントデバイスからサーバに強制的に大きなメッセージを送信する必要がある。 これにより、LDPアルゴリズムの通信コストの削減に大きく貢献しています。
  論文  参考訳（メタデータ） (2021-02-24T07:04:30Z)
• Proactive DP: A Multple Target Optimization Framework for DP-SGD [22.663029794467768]
  本稿では,プロアクティブDPと呼ばれるDP-SGDの多目的最適化フレームワークを提案する。 プロアクティブDP方式では、固定されたプライバシー予算に基づいてDP-SGDのパラメータをa-prioriに選択することができる。 DP-SGDセットアップの全てのパラメータを接続するクローズドフォーム$(epsilon,delta)$-DP保証を提供する。
  論文  参考訳（メタデータ） (2021-02-17T21:19:39Z)
• RL for Latent MDPs: Regret Guarantees and a Lower Bound [74.41782017817808]
  後期マルコフ決定過程(LMDP)における強化学習における後悔問題の検討 LMDPにおいて、M$可能なMDPのセットからMDPをランダムに描画するが、選択したMDPの同一性はエージェントに明らかにしない。 鍵となるリンクは、MDPシステムの力学の分離の概念であることを示す。
  論文  参考訳（メタデータ） (2021-02-09T16:49:58Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。