論文の概要: Defending against Reconstruction Attacks with R\'enyi Differential Privacy

• arxiv url: http://arxiv.org/abs/2202.07623v1
• Date: Tue, 15 Feb 2022 18:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 13:20:14.283310
• Title: Defending against Reconstruction Attacks with R\'enyi Differential Privacy
• Title（参考訳）: R'enyi差分プライバシーによる再建攻撃の防御
• Authors: Pierre Stock, Igor Shilov, Ilya Mironov, Alexandre Sablayrolles
• Abstract要約: レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスすることで、トレーニングセットのデータサンプルを再生することができる。 差別化プライバシはこのような攻撃に対する既知の解決策であるが、比較的大きなプライバシ予算で使用されることが多い。 また、同機構により、従来の文献よりも優れた復元攻撃に対するプライバシー保証を導出できることを示す。
• 参考スコア（独自算出の注目度）: 72.1188520352079
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstruction attacks allow an adversary to regenerate data samples of the training set using access to only a trained model. It has been recently shown that simple heuristics can reconstruct data samples from language models, making this threat scenario an important aspect of model release. Differential privacy is a known solution to such attacks, but is often used with a relatively large privacy budget (epsilon > 8) which does not translate to meaningful guarantees. In this paper we show that, for a same mechanism, we can derive privacy guarantees for reconstruction attacks that are better than the traditional ones from the literature. In particular, we show that larger privacy budgets do not protect against membership inference, but can still protect extraction of rare secrets. We show experimentally that our guarantees hold against various language models, including GPT-2 finetuned on Wikitext-103.
• Abstract（参考訳）: レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスしてトレーニングセットのデータサンプルを再生することができる。 最近、単純なヒューリスティックスが言語モデルからデータサンプルを再構築できることが示されており、この脅威シナリオがモデルリリースの重要な側面となっている。 差分プライバシーはそのような攻撃に対する既知の解決策であるが、しばしば意味のある保証に変換されない比較的大きなプライバシー予算(epsilon > 8)で使用される。 本稿では,同機構により,従来の文献よりも優れた復元攻撃のプライバシー保証を導出できることを示す。 特に,より大きなプライバシ予算は,メンバシップ推論から保護されるのではなく,稀な秘密の抽出を保護できることを示す。 Wikitext-103で微調整されたGPT-2など,さまざまな言語モデルに対して保証が守られていることを実験的に示す。

関連論文リスト

• No Vandalism: Privacy-Preserving and Byzantine-Robust Federated Learning [18.1129191782913]
  フェデレートされた学習により、複数のクライアントがプライベートデータを共有せずに1つの機械学習モデルを共同でトレーニングし、プライバシ保護を提供する。 従来の連合学習は、毒性攻撃に弱いため、モデルの性能を低下させるだけでなく、悪意のあるバックドアを埋め込むこともできる。 本稿では,悪意ある参加者からの攻撃に対して,有害行為(NoV)のない環境を提供するために,プライバシ保護とビザンチン損なうフェデレーション・ラーニング・スキームを構築することを目的とする。
  論文  参考訳（メタデータ） (2024-06-03T07:59:10Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks [1.03590082373586]
  我々は,大規模言語モデルのメンバシップ推論攻撃に対する脆弱性について,初めて体系的なレビューを行った。 これらの攻撃に対して最高のプライバシー保護を実現するために、差分プライバシーと低ランク適応器を組み合わせることで、いくつかのトレーニング手法がプライバシーリスクを著しく低減することを発見した。
  論文  参考訳（メタデータ） (2024-03-13T12:46:51Z)
• Locally Differentially Private Document Generation Using Zero Shot Prompting [61.20953109732442]
  本稿では,DP-Prompt と呼ばれる局所的に異なるプライベートなメカニズムを提案し,作者の匿名化攻撃に対処する。 DP-PromptをChatGPT(gpt-3.5)のような強力な言語モデルで使用すると、匿名化攻撃の成功率の顕著な低下が観察される。
  論文  参考訳（メタデータ） (2023-10-24T18:25:13Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
  シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。 我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。 PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
  論文  参考訳（メタデータ） (2023-10-03T17:30:33Z)
• RecUP-FL: Reconciling Utility and Privacy in Federated Learning via User-configurable Privacy Defense [9.806681555309519]
  フェデレートラーニング(FL)は、クライアントがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。 近年の研究では、共有勾配によってプライベート情報が漏洩する可能性があることが示されている。 本稿では、ユーザ指定の機密属性により焦点を絞ることができる、ユーザ設定可能なプライバシ保護(RecUP-FL)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:59:45Z)
• Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis Testing: A Lesson From Fano [83.5933307263932]
  本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。 基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
  論文  参考訳（メタデータ） (2022-10-24T23:50:12Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Bounding Training Data Reconstruction in Private (Deep) Learning [40.86813581191581]
  差分プライバシーは、MLにおけるデータ漏洩を防ぐデファクト手法として広く受け入れられている。 既存のDPのセマンティック保証は、メンバーシップ推論に重点を置いている。 我々は、Renyi差分プライバシーとFisher情報漏洩という2つの異なるプライバシ会計手法が、データ再構成攻撃に対して強力なセマンティック保護を提供することを示した。
  論文  参考訳（メタデータ） (2022-01-28T19:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。