論文の概要: Defending against Reconstruction Attacks with R\'enyi Differential
Privacy
- arxiv url: http://arxiv.org/abs/2202.07623v1
- Date: Tue, 15 Feb 2022 18:09:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-16 13:20:14.283310
- Title: Defending against Reconstruction Attacks with R\'enyi Differential
Privacy
- Title(参考訳): R'enyi差分プライバシーによる再建攻撃の防御
- Authors: Pierre Stock, Igor Shilov, Ilya Mironov, Alexandre Sablayrolles
- Abstract要約: レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスすることで、トレーニングセットのデータサンプルを再生することができる。
差別化プライバシはこのような攻撃に対する既知の解決策であるが、比較的大きなプライバシ予算で使用されることが多い。
また、同機構により、従来の文献よりも優れた復元攻撃に対するプライバシー保証を導出できることを示す。
- 参考スコア(独自算出の注目度): 72.1188520352079
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstruction attacks allow an adversary to regenerate data samples of the
training set using access to only a trained model. It has been recently shown
that simple heuristics can reconstruct data samples from language models,
making this threat scenario an important aspect of model release. Differential
privacy is a known solution to such attacks, but is often used with a
relatively large privacy budget (epsilon > 8) which does not translate to
meaningful guarantees. In this paper we show that, for a same mechanism, we can
derive privacy guarantees for reconstruction attacks that are better than the
traditional ones from the literature. In particular, we show that larger
privacy budgets do not protect against membership inference, but can still
protect extraction of rare secrets. We show experimentally that our guarantees
hold against various language models, including GPT-2 finetuned on
Wikitext-103.
- Abstract(参考訳): レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスしてトレーニングセットのデータサンプルを再生することができる。
最近、単純なヒューリスティックスが言語モデルからデータサンプルを再構築できることが示されており、この脅威シナリオがモデルリリースの重要な側面となっている。
差分プライバシーはそのような攻撃に対する既知の解決策であるが、しばしば意味のある保証に変換されない比較的大きなプライバシー予算(epsilon > 8)で使用される。
本稿では,同機構により,従来の文献よりも優れた復元攻撃のプライバシー保証を導出できることを示す。
特に,より大きなプライバシ予算は,メンバシップ推論から保護されるのではなく,稀な秘密の抽出を保護できることを示す。
Wikitext-103で微調整されたGPT-2など,さまざまな言語モデルに対して保証が守られていることを実験的に示す。
関連論文リスト
- SoK: Reducing the Vulnerability of Fine-tuned Language Models to
Membership Inference Attacks [1.03590082373586]
我々は,大規模言語モデルのメンバシップ推論攻撃に対する脆弱性について,初めて体系的なレビューを行った。
これらの攻撃に対して最高のプライバシー保護を実現するために、差分プライバシーと低ランク適応器を組み合わせることで、いくつかのトレーニング手法がプライバシーリスクを著しく低減することを発見した。
論文 参考訳(メタデータ) (2024-03-13T12:46:51Z) - Locally Differentially Private Document Generation Using Zero Shot
Prompting [61.20953109732442]
本稿では,DP-Prompt と呼ばれる局所的に異なるプライベートなメカニズムを提案し,作者の匿名化攻撃に対処する。
DP-PromptをChatGPT(gpt-3.5)のような強力な言語モデルで使用すると、匿名化攻撃の成功率の顕著な低下が観察される。
論文 参考訳(メタデータ) (2023-10-24T18:25:13Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。
我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。
PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
論文 参考訳(メタデータ) (2023-10-03T17:30:33Z) - RecUP-FL: Reconciling Utility and Privacy in Federated Learning via
User-configurable Privacy Defense [9.806681555309519]
フェデレートラーニング(FL)は、クライアントがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。
近年の研究では、共有勾配によってプライベート情報が漏洩する可能性があることが示されている。
本稿では、ユーザ指定の機密属性により焦点を絞ることができる、ユーザ設定可能なプライバシ保護(RecUP-FL)を提案する。
論文 参考訳(メタデータ) (2023-04-11T10:59:45Z) - Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano [83.5933307263932]
本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。
基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
論文 参考訳(メタデータ) (2022-10-24T23:50:12Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Bounding Training Data Reconstruction in Private (Deep) Learning [40.86813581191581]
差分プライバシーは、MLにおけるデータ漏洩を防ぐデファクト手法として広く受け入れられている。
既存のDPのセマンティック保証は、メンバーシップ推論に重点を置いている。
我々は、Renyi差分プライバシーとFisher情報漏洩という2つの異なるプライバシ会計手法が、データ再構成攻撃に対して強力なセマンティック保護を提供することを示した。
論文 参考訳(メタデータ) (2022-01-28T19:24:30Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳(メタデータ) (2020-09-01T12:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。