論文の概要: Smooth Sensitivity for Learning Differentially-Private yet Accurate Rule Lists

• arxiv url: http://arxiv.org/abs/2403.13848v2
• Date: Tue, 12 Nov 2024 09:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:19:05.857225
• Title: Smooth Sensitivity for Learning Differentially-Private yet Accurate Rule Lists
• Title（参考訳）: 差分生成型かつ正確なルールリストの学習のための平滑感性
• Authors: Timothée Ly, Julien Ferry, Marie-José Huguet, Sébastien Gambs, Ulrich Aivodji,
• Abstract要約: Differentially-private (DP)メカニズムを機械学習アルゴリズムに組み込んで、結果のモデルをプライバシリークから保護することができる。 本稿では,一般的な機械学習アルゴリズムのトレードオフを改善することを目的としている。 我々はGiniの不純物のスムーズな感度を確立し、より厳密なスケールのノイズを付加しながら、完全なDP保証を得るのに使用できる。
• 参考スコア（独自算出の注目度）: 5.349669048015423
• License:
• Abstract: Differentially-private (DP) mechanisms can be embedded into the design of a machine learning algorithm to protect the resulting model against privacy leakage. However, this often comes with a significant loss of accuracy due to the noise added to enforce DP. In this paper, we aim at improving this trade-off for a popular class of machine learning algorithms leveraging the Gini impurity as an information gain criterion to greedily build interpretable models such as decision trees or rule lists. To this end, we establish the smooth sensitivity of the Gini impurity, which can be used to obtain thorough DP guarantees while adding noise scaled with tighter magnitude. We illustrate the applicability of this mechanism by integrating it within a greedy algorithm producing rule list models, motivated by the fact that such models remain understudied in the DP literature. Our theoretical analysis and experimental results confirm that the DP rule lists models integrating smooth sensitivity have higher accuracy that those using other DP frameworks based on global sensitivity, for identical privacy budgets.
• Abstract（参考訳）: Differentially-private (DP) メカニズムを機械学習アルゴリズムの設計に組み込んで、結果のモデルをプライバシリークから保護することができる。 しかし、これはしばしばDPを強制するために追加されたノイズのために精度が著しく低下する。 本稿では,Giniの不純物を利用した一般的な機械学習アルゴリズムのトレードオフを,情報獲得基準として活用し,決定木やルールリストなどの解釈可能なモデルを構築することを目的としている。 この目的のために、Giniの不純物に対するスムーズな感度を確立し、より厳密なスケールのノイズを付加しながら、完全なDP保証を得るために使用できる。 本稿では,これらのモデルがDP文献に残されているという事実を動機として,ルールリストモデルを生成するグリーディアルゴリズムに組み込むことにより,このメカニズムの適用性を説明する。 理論分析および実験結果から, DPルールがスムーズな感度を取り入れたモデルが, 同一のプライバシー予算に対して, グローバルな感度に基づく他のDPフレームワークを用いたモデルよりも高い精度で評価されていることが確認された。

関連論文リスト

• Weights Shuffling for Improving DPSGD in Transformer-based Models [7.356743536182233]
  本研究は,DPSGD(differially-Private Gradient Descent)における革新的なシャッフル機構を導入し,非シャッフルケースと同じプライバシ保証で大規模モデルの実用性を向上する。 順列化は理論上はDPSGDのプライバシー保証を改善するが、シャッフルモデル上での正確なプライバシー損失の追跡は特に困難である。
  論文  参考訳（メタデータ） (2024-07-22T06:41:59Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Episodic Gaussian Process-Based Learning Control with Vanishing Tracking Errors [10.627020714408445]
  本稿では,任意の追跡精度を保証するために,GPモデル学習のためのエピソード手法を開発する。 導出理論の有効性はいくつかのシミュレーションで示されている。
  論文  参考訳（メタデータ） (2023-07-10T08:43:28Z)
• DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
  ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。 この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。 DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
  論文  参考訳（メタデータ） (2022-10-18T07:03:14Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Differentially Private Coordinate Descent for Composite Empirical Risk Minimization [13.742100810492014]
  機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。 Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。 差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:22:48Z)
• An automatic differentiation system for the age of differential privacy [65.35244647521989]
  Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである 我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
  論文  参考訳（メタデータ） (2021-09-22T08:07:42Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。