論文の概要: On the utility and protection of optimization with differential privacy and classic regularization techniques

• arxiv url: http://arxiv.org/abs/2209.03175v1
• Date: Wed, 7 Sep 2022 14:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-08 12:12:05.789978
• Title: On the utility and protection of optimization with differential privacy and classic regularization techniques
• Title（参考訳）: 差分プライバシーと古典正規化手法による最適化の有用性と保護について
• Authors: Eugenio Lomurno, Matteo matteucci
• Abstract要約: 本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。 我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
• 参考スコア（独自算出の注目度）: 9.413131350284083
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Nowadays, owners and developers of deep learning models must consider stringent privacy-preservation rules of their training data, usually crowd-sourced and retaining sensitive information. The most widely adopted method to enforce privacy guarantees of a deep learning model nowadays relies on optimization techniques enforcing differential privacy. According to the literature, this approach has proven to be a successful defence against several models' privacy attacks, but its downside is a substantial degradation of the models' performance. In this work, we compare the effectiveness of the differentially-private stochastic gradient descent (DP-SGD) algorithm against standard optimization practices with regularization techniques. We analyze the resulting models' utility, training performance, and the effectiveness of membership inference and model inversion attacks against the learned models. Finally, we discuss differential privacy's flaws and limits and empirically demonstrate the often superior privacy-preserving properties of dropout and l2-regularization.
• Abstract（参考訳）: 今日では、ディープラーニングモデルのオーナーと開発者は、トレーニングデータの厳密なプライバシー保護ルールを考慮しなければならない。 ディープラーニングモデルのプライバシー保証を強制する最も広く採用されている方法は、ディファレンシャルプライバシを強制する最適化技術に依存している。 文献によると、このアプローチはいくつかのモデルのプライバシ攻撃に対する防御として成功したが、その欠点はモデルのパフォーマンスの大幅な低下である。 本研究では,DP-SGDアルゴリズムの有効性を,正規化手法を用いた標準最適化手法と比較する。 得られたモデルの実用性,訓練性能,および学習モデルに対するメンバーシップ推論とモデル反転攻撃の有効性を分析した。 最後に,ディファレンシャルプライバシの欠陥と限界を議論し,ドロップアウトとl2レギュライゼーションという,より優れたプライバシ保護特性を実証する。

関連論文リスト

• Masked Differential Privacy [64.32494202656801]
  本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。 提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Too Good to be True? Turn Any Model Differentially Private With DP-Weights [0.0]
  トレーニング後のモデルの重みに差分プライバシーノイズを適用する,画期的なアプローチを導入する。 この新しいアプローチのプライバシ境界に対する包括的数学的証明を提供する。 我々は,メンバシップ推論攻撃とパフォーマンス評価を用いて,その効果を実証的に評価する。
  論文  参考訳（メタデータ） (2024-06-27T19:58:11Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Discriminative Adversarial Privacy: Balancing Accuracy and Membership Privacy in Neural Networks [7.0895962209555465]
  DAP(Dariminative Adversarial Privacy)は、モデルの性能、速度、プライバシのバランスを達成するために設計された学習技術である。 DAPは、MIAの誤差を最大化しながら予測誤差を最小化できる新しい損失関数に基づく敵の訓練に依存している。 さらに、パフォーマンスプライバシのトレードオフを捉えるために、AOP(Acuracy Over Privacy)と呼ばれる新しいメトリクスを紹介します。
  論文  参考訳（メタデータ） (2023-06-05T17:25:45Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• One-shot Empirical Privacy Estimation for Federated Learning [43.317478030880956]
  ワンショット」アプローチは、モデルパラメータに適合する単一トレーニング実行において、モデルのプライバシ損失の効率的な監査や推定を可能にする。 提案手法は,ガウス機構下でのプライバシー損失を正当に推定できることを示す。
  論文  参考訳（メタデータ） (2023-02-06T19:58:28Z)
• Enforcing Privacy in Distributed Learning with Performance Guarantees [57.14673504239551]
  分散学習と最適化戦略の民営化について検討する。 グラフ構造に対して十分に調整されていないため, 一般的な加法的乱乱摂動方式は性能を低下させることを示す。
  論文  参考訳（メタデータ） (2023-01-16T13:03:27Z)
• PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
  本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。 当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-08T18:00:01Z)
• Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
  活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。 我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-07-28T13:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。