論文の概要: DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in Machine Learning

• arxiv url: http://arxiv.org/abs/2112.12998v1
• Date: Fri, 24 Dec 2021 08:40:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-28 17:34:51.225297
• Title: DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in Machine Learning
• Title（参考訳）: DP-UTIL: 機械学習における差分プライバシーの総合的ユーティリティ分析
• Authors: Ismat Jarin and Birhanu Eshete
• Abstract要約: 差別化プライバシ(DP)は、プライバシー漏洩を理由とする厳格な形式主義として浮上している。 機械学習(ML)では、DPはトレーニング例の限定/開示に使用されている。 ディープニューラルネットワークの場合、勾配の摂動はプライバシリークを低くする。
• 参考スコア（独自算出の注目度）: 3.822543555265593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential Privacy (DP) has emerged as a rigorous formalism to reason about quantifiable privacy leakage. In machine learning (ML), DP has been employed to limit inference/disclosure of training examples. Prior work leveraged DP across the ML pipeline, albeit in isolation, often focusing on mechanisms such as gradient perturbation. In this paper, we present, DP-UTIL, a holistic utility analysis framework of DP across the ML pipeline with focus on input perturbation, objective perturbation, gradient perturbation, output perturbation, and prediction perturbation. Given an ML task on privacy-sensitive data, DP-UTIL enables a ML privacy practitioner perform holistic comparative analysis on the impact of DP in these five perturbation spots, measured in terms of model utility loss, privacy leakage, and the number of truly revealed training samples. We evaluate DP-UTIL over classification tasks on vision, medical, and financial datasets, using two representative learning algorithms (logistic regression and deep neural network) against membership inference attack as a case study attack. One of the highlights of our results is that prediction perturbation consistently achieves the lowest utility loss on all models across all datasets. In logistic regression models, objective perturbation results in lowest privacy leakage compared to other perturbation techniques. For deep neural networks, gradient perturbation results in lowest privacy leakage. Moreover, our results on true revealed records suggest that as privacy leakage increases a differentially private model reveals more number of member samples. Overall, our findings suggest that to make informed decisions as to which perturbation mechanism to use, a ML privacy practitioner needs to examine the dynamics between optimization techniques (convex vs. non-convex), perturbation mechanisms, number of classes, and privacy budget.
• Abstract（参考訳）: 差分プライバシー(DP)は、プライバシー漏洩の定量化を推理する厳格な形式主義として登場した。 機械学習(ML)では、DPはトレーニング例の推論/開示を制限するために使用されている。 以前の作業では、MLパイプライン全体にわたってDPを活用し、独立して、勾配の摂動のようなメカニズムに重点を置いていた。 本稿では,入力摂動,客観的摂動,勾配摂動,出力摂動,予測摂動に着目した,mlパイプライン全体のdpの総合的ユーティリティ解析フレームワークdp-utilを提案する。 プライバシに敏感なデータに対するMLタスクが与えられた場合、DP-UTILは、モデルユーティリティ損失、プライバシリーク、真に明らかになったトレーニングサンプルの数で測定された、これらの5つの摂動領域におけるDPの影響に関する総合的な比較分析を可能にする。 我々は,視覚,医療,財務データセットの分類タスクよりもDP-UTILを評価するために,2つの代表的な学習アルゴリズム(論理回帰とディープニューラルネットワーク)を事例スタディアタックとして利用した。 結果のハイライトの1つは、予測摂動が一貫してすべてのデータセットにわたるすべてのモデルで最も低いユーティリティ損失を達成していることです。 ロジスティック回帰モデルでは、客観摂動は他の摂動法と比較して低いプライバシー漏洩をもたらす。 ディープニューラルネットワークの場合、勾配の摂動はプライバシリークを低くする。 さらに,本研究の結果から,プライバシリークが増大するにつれて,より多くのメンバーサンプルが発見されたことが示唆された。 以上の結果から,どの摂動メカニズムを使用するべきかを判断するためには,最適化手法(凸対非凸),摂動機構,クラス数,プライバシ予算のダイナミクスを検討する必要があることが示唆された。

関連論文リスト

• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Explainable Differential Privacy-Hyperdimensional Computing for Balancing Privacy and Transparency in Additive Manufacturing Monitoring [5.282482641822561]
  微分プライバシー(DP)は、機械学習(ML)モデルに数学的に制御されたノイズを追加する。 本研究では,差分プライバシー-高次元計算(DP-HD)フレームワークを用いて,雑音が精度に与える影響を定量化する。 実験の結果,DP-HDは操作効率,予測精度,プライバシー保護に優れていた。
  論文  参考訳（メタデータ） (2024-07-09T17:42:26Z)
• Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy [3.8254443661593633]
  DP-SGDで訓練した1つの隠蔽層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングすることが可能である。 ベンチマーク分類タスクの実験により、NoisyCGDは1層ReLUネットワークに適用されたDP-SGDに匹敵するプライバシー利用トレードオフを達成できることが示された。
  論文  参考訳（メタデータ） (2024-07-05T22:43:32Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• A Differentially Private Weighted Empirical Risk Minimization Procedure and its Application to Outcome Weighted Learning [4.322221694511603]
  差分プライバシー(DP)は、データのプライバシー問題に対処するための魅力的なフレームワークである。 DPは、機密データから情報を公開する際に生じるプライバシー損失に数学的に証明可能な境界を提供する。 一般のwERMに対する最初の微分プライベートアルゴリズムを提案し、理論DPを保証する。
  論文  参考訳（メタデータ） (2023-07-24T21:03:25Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation [54.88777449903538]
  感性分析のための新しいテクスチブリド自動識別システム(AD)を導入する。 これにより、ニューラルネットワークをプライベートデータ上でトレーニングするなど、任意の微分可能な関数合成の感度をモデル化できる。 当社のアプローチは,データ処理の設定において,プライバシ損失に関する原則的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-09T07:19:23Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。