論文の概要: On the utility and protection of optimization with differential privacy
and classic regularization techniques
- arxiv url: http://arxiv.org/abs/2209.03175v1
- Date: Wed, 7 Sep 2022 14:10:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-08 12:12:05.789978
- Title: On the utility and protection of optimization with differential privacy
and classic regularization techniques
- Title(参考訳): 差分プライバシーと古典正規化手法による最適化の有用性と保護について
- Authors: Eugenio Lomurno, Matteo matteucci
- Abstract要約: 本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。
我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
- 参考スコア(独自算出の注目度): 9.413131350284083
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Nowadays, owners and developers of deep learning models must consider
stringent privacy-preservation rules of their training data, usually
crowd-sourced and retaining sensitive information. The most widely adopted
method to enforce privacy guarantees of a deep learning model nowadays relies
on optimization techniques enforcing differential privacy. According to the
literature, this approach has proven to be a successful defence against several
models' privacy attacks, but its downside is a substantial degradation of the
models' performance. In this work, we compare the effectiveness of the
differentially-private stochastic gradient descent (DP-SGD) algorithm against
standard optimization practices with regularization techniques. We analyze the
resulting models' utility, training performance, and the effectiveness of
membership inference and model inversion attacks against the learned models.
Finally, we discuss differential privacy's flaws and limits and empirically
demonstrate the often superior privacy-preserving properties of dropout and
l2-regularization.
- Abstract(参考訳): 今日では、ディープラーニングモデルのオーナーと開発者は、トレーニングデータの厳密なプライバシー保護ルールを考慮しなければならない。
ディープラーニングモデルのプライバシー保証を強制する最も広く採用されている方法は、ディファレンシャルプライバシを強制する最適化技術に依存している。
文献によると、このアプローチはいくつかのモデルのプライバシ攻撃に対する防御として成功したが、その欠点はモデルのパフォーマンスの大幅な低下である。
本研究では,DP-SGDアルゴリズムの有効性を,正規化手法を用いた標準最適化手法と比較する。
得られたモデルの実用性,訓練性能,および学習モデルに対するメンバーシップ推論とモデル反転攻撃の有効性を分析した。
最後に,ディファレンシャルプライバシの欠陥と限界を議論し,ドロップアウトとl2レギュライゼーションという,より優れたプライバシ保護特性を実証する。
関連論文リスト
- Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Discriminative Adversarial Privacy: Balancing Accuracy and Membership
Privacy in Neural Networks [7.0895962209555465]
DAP(Dariminative Adversarial Privacy)は、モデルの性能、速度、プライバシのバランスを達成するために設計された学習技術である。
DAPは、MIAの誤差を最大化しながら予測誤差を最小化できる新しい損失関数に基づく敵の訓練に依存している。
さらに、パフォーマンスプライバシのトレードオフを捉えるために、AOP(Acuracy Over Privacy)と呼ばれる新しいメトリクスを紹介します。
論文 参考訳(メタデータ) (2023-06-05T17:25:45Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Learning Differentially Private Probabilistic Models for
Privacy-Preserving Image Generation [67.47979276739144]
差分プライバシー保証付き高解像度画像を生成するために,差分プライベート確率モデルの学習を提案する。
我々のアプローチは、目立った視覚的品質とデータユーティリティで256x256までの画像を生成することができる。
論文 参考訳(メタデータ) (2023-05-18T02:51:17Z) - One-shot Empirical Privacy Estimation for Federated Learning [43.76390104929943]
差分プライベート(DP)アルゴリズムのプライバシ推定手法は、解析的境界との比較や、既知の解析的境界が厳密でない環境でのプライバシー損失を実証的に測定するのに有用である。
既存のプライバシ監査技術は、通常、敵に対して強い仮定をし、特定のタスク、モデルアーキテクチャ、DPアルゴリズムに合わせて調整され、そして/または何度もモデルを再訓練する必要がある。
我々は,モデルパラメータに適合する単一トレーニング実行中に,モデルのプライバシー損失の効率的な監査や推定を可能にする,新しいワンショットアプローチを提案する。
論文 参考訳(メタデータ) (2023-02-06T19:58:28Z) - Enforcing Privacy in Distributed Learning with Performance Guarantees [57.14673504239551]
分散学習と最適化戦略の民営化について検討する。
グラフ構造に対して十分に調整されていないため, 一般的な加法的乱乱摂動方式は性能を低下させることを示す。
論文 参考訳(メタデータ) (2023-01-16T13:03:27Z) - Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。
この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。
本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T01:45:27Z) - PEARL: Data Synthesis via Private Embeddings and Adversarial
Reconstruction Learning [1.8692254863855962]
本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。
当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。
提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2021-06-08T18:00:01Z) - Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。
我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
論文 参考訳(メタデータ) (2020-07-28T13:19:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。