論文の概要: Certification for Differentially Private Prediction in Gradient-Based Training

• arxiv url: http://arxiv.org/abs/2406.13433v2
• Date: Wed, 30 Oct 2024 16:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:24:32.878205
• Title: Certification for Differentially Private Prediction in Gradient-Based Training
• Title（参考訳）: グラディエントベーストレーニングにおける個人差分予測の認定
• Authors: Matthew Wicker, Philip Sosnin, Igor Shilov, Adrianna Janik, Mark N. Müller, Yves-Alexandre de Montjoye, Adrian Weller, Calvin Tsay,
• Abstract要約: 我々は凸緩和と有界伝播を用いて、予測の局所的および滑らかな感度の証明可能な上界を計算する。 このバウンダリによって、プライベートな予測設定で付加されるノイズの規模を減らしたり、プライバシ会計を改善することができます。
• 参考スコア（独自算出の注目度）: 36.686002369773014
• License:
• Abstract: Differential privacy upper-bounds the information leakage of machine learning models, yet providing meaningful privacy guarantees has proven to be challenging in practice. The private prediction setting where model outputs are privatized is being investigated as an alternate way to provide formal guarantees at prediction time. Most current private prediction algorithms, however, rely on global sensitivity for noise calibration, which often results in large amounts of noise being added to the predictions. Data-specific noise calibration, such as smooth sensitivity, could significantly reduce the amount of noise added, but were so far infeasible to compute exactly for modern machine learning models. In this work we provide a novel and practical approach based on convex relaxation and bound propagation to compute a provable upper-bound for the local and smooth sensitivity of a prediction. This bound allows us to reduce the magnitude of noise added or improve privacy accounting in the private prediction setting. We validate our framework on datasets from financial services, medical image classification, and natural language processing and across models and find our approach to reduce the noise added by up to order of magnitude.
• Abstract（参考訳）: 異なるプライバシは、機械学習モデルの情報漏洩を上位に置いているが、意味のあるプライバシ保証を提供することは、実際は困難であることが証明されている。 モデル出力を民営化するプライベート予測設定は、予測時に正式な保証を提供する代替手段として検討されている。 しかし、現在のほとんどのプライベート予測アルゴリズムは、ノイズキャリブレーションの世界的な感度に依存しており、しばしば予測に大量のノイズが加えられる。 滑らかな感度のようなデータ固有のノイズキャリブレーションは、追加するノイズの量を著しく削減するが、現代の機械学習モデルで正確に計算することは不可能だった。 本研究では,凸緩和と有界伝播に基づく,局所的かつスムーズな予測感度の証明可能な上界の計算法を提案する。 このバウンダリによって、プライベートな予測設定で付加されるノイズの規模を減らしたり、プライバシ会計を改善することができます。 我々は,金融サービス,医用画像分類,自然言語処理,モデル間のデータセットに関する枠組みを検証し,最大で1桁のノイズを付加する手法を提案する。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Adaptive Differential Privacy in Federated Learning: A Priority-Based Approach [0.0]
  フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。 DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。 本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T03:01:15Z)
• Conditional Density Estimations from Privacy-Protected Data [0.0]
  プライバシ保護されたデータセットからのシミュレーションに基づく推論手法を提案する。 本稿では,感染性疾患モデルと通常の線形回帰モデルに基づく個別時系列データについて述べる。
  論文  参考訳（メタデータ） (2023-10-19T14:34:17Z)
• Propagating Variational Model Uncertainty for Bioacoustic Call Label Smoothing [15.929064190849665]
  ベイズニューラルネットワークが計算した予測不確実性信号を用いて、モデルが訓練している自己学習タスクの学習をガイドすることに焦点を当てる。 コストのかかるモンテカルロサンプリングを選ばず、近似的な隠れ分散をエンドツーエンドに伝播する。 損失計算における不確かさの明示的利用により, 変動モデルにより予測・校正性能が向上したことを示す。
  論文  参考訳（メタデータ） (2022-10-19T13:04:26Z)
• Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy Constraints [53.01656650117495]
  研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。 ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。 我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
  論文  参考訳（メタデータ） (2022-06-15T01:43:37Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)
• Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
  本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。 また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
  論文  参考訳（メタデータ） (2020-08-21T18:43:37Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。