論文の概要: Smooth Sensitivity for Learning Differentially-Private yet Accurate Rule Lists

• arxiv url: http://arxiv.org/abs/2403.13848v2
• Date: Tue, 12 Nov 2024 09:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:19:05.857225
• Title: Smooth Sensitivity for Learning Differentially-Private yet Accurate Rule Lists
• Title（参考訳）: 差分生成型かつ正確なルールリストの学習のための平滑感性
• Authors: Timothée Ly, Julien Ferry, Marie-José Huguet, Sébastien Gambs, Ulrich Aivodji,
• Abstract要約: Differentially-private (DP)メカニズムを機械学習アルゴリズムに組み込んで、結果のモデルをプライバシリークから保護することができる。 本稿では,一般的な機械学習アルゴリズムのトレードオフを改善することを目的としている。 我々はGiniの不純物のスムーズな感度を確立し、より厳密なスケールのノイズを付加しながら、完全なDP保証を得るのに使用できる。
• 参考スコア（独自算出の注目度）: 5.349669048015423
• License:
• Abstract: Differentially-private (DP) mechanisms can be embedded into the design of a machine learning algorithm to protect the resulting model against privacy leakage. However, this often comes with a significant loss of accuracy due to the noise added to enforce DP. In this paper, we aim at improving this trade-off for a popular class of machine learning algorithms leveraging the Gini impurity as an information gain criterion to greedily build interpretable models such as decision trees or rule lists. To this end, we establish the smooth sensitivity of the Gini impurity, which can be used to obtain thorough DP guarantees while adding noise scaled with tighter magnitude. We illustrate the applicability of this mechanism by integrating it within a greedy algorithm producing rule list models, motivated by the fact that such models remain understudied in the DP literature. Our theoretical analysis and experimental results confirm that the DP rule lists models integrating smooth sensitivity have higher accuracy that those using other DP frameworks based on global sensitivity, for identical privacy budgets.
• Abstract（参考訳）: Differentially-private (DP) メカニズムを機械学習アルゴリズムの設計に組み込んで、結果のモデルをプライバシリークから保護することができる。 しかし、これはしばしばDPを強制するために追加されたノイズのために精度が著しく低下する。 本稿では,Giniの不純物を利用した一般的な機械学習アルゴリズムのトレードオフを,情報獲得基準として活用し,決定木やルールリストなどの解釈可能なモデルを構築することを目的としている。 この目的のために、Giniの不純物に対するスムーズな感度を確立し、より厳密なスケールのノイズを付加しながら、完全なDP保証を得るために使用できる。 本稿では,これらのモデルがDP文献に残されているという事実を動機として,ルールリストモデルを生成するグリーディアルゴリズムに組み込むことにより,このメカニズムの適用性を説明する。 理論分析および実験結果から, DPルールがスムーズな感度を取り入れたモデルが, 同一のプライバシー予算に対して, グローバルな感度に基づく他のDPフレームワークを用いたモデルよりも高い精度で評価されていることが確認された。

関連論文リスト

• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Weights Shuffling for Improving DPSGD in Transformer-based Models [7.356743536182233]
  本研究は,DPSGD(differially-Private Gradient Descent)における革新的なシャッフル機構を導入し,非シャッフルケースと同じプライバシ保証で大規模モデルの実用性を向上する。 順列化は理論上はDPSGDのプライバシー保証を改善するが、シャッフルモデル上での正確なプライバシー損失の追跡は特に困難である。
  論文  参考訳（メタデータ） (2024-07-22T06:41:59Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Towards Better Certified Segmentation via Diffusion Models [62.21617614504225]
  セグメンテーションモデルは敵の摂動に弱いため、医療や自動運転といった重要な意思決定システムでの使用を妨げます。 近年,理論的保証を得るためにガウス雑音を入力に加えることにより,セグメント化予測のランダム化が提案されている。 本稿では,ランダムな平滑化と拡散モデルを組み合わせたセグメンテーション予測の問題に対処する。
  論文  参考訳（メタデータ） (2023-06-16T16:30:39Z)
• Skellam Mixture Mechanism: a Novel Approach to Federated Learning with Differential Privacy [27.906539122581293]
  本稿では,モデルを共同で訓練する複数の参加者間でセンシティブなデータが分散されるシナリオに焦点を当てる。 ディープニューラルネットワークは、基礎となるトレーニングデータを記憶する強力な能力を持っている。 この問題の効果的な解決策は、勾配にランダムノイズを注入することで厳密なプライバシー保証を提供する差分プライバシを持つモデルを訓練することである。
  論文  参考訳（メタデータ） (2022-12-08T16:13:35Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• An automatic differentiation system for the age of differential privacy [65.35244647521989]
  Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである 我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
  論文  参考訳（メタデータ） (2021-09-22T08:07:42Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising [36.935465903971014]
  本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。 我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。 我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T16:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。