論文の概要: Tighter Privacy Auditing of DP-SGD in the Hidden State Threat Model

• arxiv url: http://arxiv.org/abs/2405.14457v1
• Date: Thu, 23 May 2024 11:38:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 15:24:46.884554
• Title: Tighter Privacy Auditing of DP-SGD in the Hidden State Threat Model
• Title（参考訳）: 隠れ状態脅威モデルにおけるDP-SGDの高次プライバシー監査
• Authors: Tudor Cebere, Aurélien Bellet, Nicolas Papernot,
• Abstract要約: 我々は,DP-SGDなどの個人的敵を通じて,機械学習モデルをプライバシ保証でトレーニングできることを実証した。 我々は、この手法が隠れ状態モデルを監査する以前の試みよりいかに優れているかを実証する。
• 参考スコア（独自算出の注目度）: 40.4617658114104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models can be trained with formal privacy guarantees via differentially private optimizers such as DP-SGD. In this work, we study such privacy guarantees when the adversary only accesses the final model, i.e., intermediate model updates are not released. In the existing literature, this hidden state threat model exhibits a significant gap between the lower bound provided by empirical privacy auditing and the theoretical upper bound provided by privacy accounting. To challenge this gap, we propose to audit this threat model with adversaries that craft a gradient sequence to maximize the privacy loss of the final model without accessing intermediate models. We demonstrate experimentally how this approach consistently outperforms prior attempts at auditing the hidden state model. When the crafted gradient is inserted at every optimization step, our results imply that releasing only the final model does not amplify privacy, providing a novel negative result. On the other hand, when the crafted gradient is not inserted at every step, we show strong evidence that a privacy amplification phenomenon emerges in the general non-convex setting (albeit weaker than in convex regimes), suggesting that existing privacy upper bounds can be improved.
• Abstract（参考訳）: マシンラーニングモデルは、DP-SGDなどの微分プライベートオプティマイザを通じて、正式なプライバシ保証をトレーニングすることができる。 本研究では,最終モデルのみにアクセスする場合,すなわち中間モデル更新がリリースされない場合のプライバシ保証について検討する。 既存の文献では、この隠れ状態脅威モデルは、経験的プライバシ監査によって提供される下限と、プライバシ会計によって提供される理論上限との間に大きなギャップを示す。 このギャップに対処するため、中間モデルにアクセスすることなく最終モデルのプライバシー損失を最大化するために、勾配シーケンスを利用する敵によるこの脅威モデルの評価を提案する。 我々は、この手法が隠れ状態モデルの監査に先行する試みよりいかに優れているかを実験的に示す。 最適化の各ステップで製作された勾配が挿入されると、最終的なモデルのみのリリースはプライバシーを増幅せず、新たなネガティブな結果をもたらすことが示唆される。 一方,すべてのステップにおいて工芸的な勾配が挿入されない場合,一般の凸法ではプライバシー増幅現象が出現する(凸法よりも弱い)という強い証拠が示され,既存のプライバシー上限が改善される可能性が示唆された。

関連論文リスト

• Camel: Communication-Efficient and Maliciously Secure Federated Learning in the Shuffle Model of Differential Privacy [9.100955087185811]
  フェデレートラーニング(FL)は、複数のクライアントが集約のための勾配更新のみを共有することで、モデルを共同でトレーニングすることを可能にする、急速に魅力的なパラダイムになっています。 プライバシーに敏感なグラデーションアップデートを保護するため、ローカルな差分プライバシーメカニズムの研究が続けられている。 我々は,DP のシャッフルモデルにおいて,コミュニケーション効率が高く,かつ悪意のある FL フレームワークである Camel を提示する。
  論文  参考訳（メタデータ） (2024-10-04T13:13:44Z)
• Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy [3.8254443661593633]
  DP-SGDで訓練した1つの隠蔽層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングすることが可能である。 ベンチマーク分類タスクの実験により、NoisyCGDは1層ReLUネットワークに適用されたDP-SGDに匹敵するプライバシー利用トレードオフを達成できることが示された。
  論文  参考訳（メタデータ） (2024-07-05T22:43:32Z)
• PAC Privacy Preserving Diffusion Models [6.299952353968428]
  拡散モデルは、高いプライバシーと視覚的品質の両方で画像を生成することができる。 しかし、特定のデータ属性の民営化において堅牢な保護を確保するといった課題が発生する。 PACプライバシー保護拡散モデル(PAC Privacy Preserving Diffusion Model)を導入する。
  論文  参考訳（メタデータ） (2023-12-02T18:42:52Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• TeD-SPAD: Temporal Distinctiveness for Self-supervised Privacy-preservation for video Anomaly Detection [59.04634695294402]
  人間の監視のないビデオ異常検出(VAD)は複雑なコンピュータビジョンタスクである。 VADのプライバシー漏洩により、モデルは人々の個人情報に関連する不必要なバイアスを拾い上げ、増幅することができる。 本稿では,視覚的プライベート情報を自己管理的に破壊する,プライバシーに配慮したビデオ異常検出フレームワークTeD-SPADを提案する。
  論文  参考訳（メタデータ） (2023-08-21T22:42:55Z)
• A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
  推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。 EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。 我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
  論文  参考訳（メタデータ） (2023-04-17T00:38:01Z)
• Privacy-Preserving Distributed Expectation Maximization for Gaussian Mixture Model using Subspace Perturbation [4.2698418800007865]
  フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。 我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。 数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-09-16T09:58:03Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。