論文の概要: Planting and Mitigating Memorized Content in Predictive-Text Language Models

• arxiv url: http://arxiv.org/abs/2212.08619v1
• Date: Fri, 16 Dec 2022 17:57:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 15:47:05.816733
• Title: Planting and Mitigating Memorized Content in Predictive-Text Language Models
• Title（参考訳）: 予測テキスト言語モデルにおける記憶コンテンツの植え付けと緩和
• Authors: C.M. Downey, Wei Dai, Huseyin A. Inan, Kim Laine, Saurabh Naik, Tomasz Religa
• Abstract要約: 言語モデルは、ユーザ製品に自動テキスト補完サービスを提供するために広くデプロイされている。 近年の研究では、言語モデルがプライベートトレーニングデータを記憶するかなりのリスクを負っていることが明らかになっている。 本研究では,機密テキストの意図しない暗記を緩和するために,プライバシー保護手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 11.911353678499008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are widely deployed to provide automatic text completion services in user products. However, recent research has revealed that language models (especially large ones) bear considerable risk of memorizing private training data, which is then vulnerable to leakage and extraction by adversaries. In this study, we test the efficacy of a range of privacy-preserving techniques to mitigate unintended memorization of sensitive user text, while varying other factors such as model size and adversarial conditions. We test both "heuristic" mitigations (those without formal privacy guarantees) and Differentially Private training, which provides provable levels of privacy at the cost of some model performance. Our experiments show that (with the exception of L2 regularization), heuristic mitigations are largely ineffective in preventing memorization in our test suite, possibly because they make too strong of assumptions about the characteristics that define "sensitive" or "private" text. In contrast, Differential Privacy reliably prevents memorization in our experiments, despite its computational and model-performance costs.
• Abstract（参考訳）: 言語モデルは、ユーザ製品に自動テキスト補完サービスを提供するために広くデプロイされている。 しかし、近年の研究では、言語モデル(特に大きなもの)が個人訓練データを記憶するかなりのリスクを負っており、敵による漏洩や抽出に弱いことが示されている。 本研究では,モデルサイズや逆境条件など他の要因を異にすると同時に,意図しないユーザテキストの暗記を緩和するプライバシ保存手法の有効性を検証した。 我々は、(正式なプライバシー保証なしに)「ヒューリスティック」な緩和策と、いくつかのモデルパフォーマンスのコストで証明可能なレベルのプライバシを提供する差分プライベートトレーニングの両方をテストします。 私たちの実験では、(l2の正規化を除いて)ヒューリスティックな緩和は、テストスイートの暗記化をほとんど防げないことを示している。 対照的に、差分プライバシーは計算とモデル性能のコストにもかかわらず、実験の記憶を確実に妨げます。

関連論文リスト

• Subword Embedding from Bytes Gains Privacy without Sacrificing Accuracy and Complexity [5.7601856226895665]
  本稿では,Bytes (SEB) からのSubword Embeddingを提案し,深層ニューラルネットワークを用いてサブワードをバイト列にエンコードする。 我々のソリューションは、効率や精度を犠牲にすることなく、プライバシを保ち、従来の手法よりも優れています。 機械翻訳、感情分析、言語モデリングにおいて、SEBは標準的なサブワード埋め込み手法よりも同等でより良い結果が得られることを検証した。
  論文  参考訳（メタデータ） (2024-10-21T18:25:24Z)
• NAP^2: A Benchmark for Naturalness and Privacy-Preserving Text Rewriting by Learning from Human [55.20137833039499]
  我々は,人間によって使用される2つの共通戦略を用いて,機密テキストの衛生化を提案する。 我々は,クラウドソーシングと大規模言語モデルの利用を通じて,NAP2という最初のコーパスをキュレートする。
  論文  参考訳（メタデータ） (2024-06-06T05:07:44Z)
• FLTrojan: Privacy Leakage Attacks against Federated Language Models Through Selective Weight Tampering [2.2194815687410627]
  悪意のあるクライアントが、サーバからの協力なしに、FL内の他のユーザのプライバシーに敏感なデータを漏洩させる方法を示す。 提案手法は, 最大71%の個人データ再構成を達成し, 会員推算率を29%向上させる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:01Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Training Private Models That Know What They Don't Know [40.19666295972155]
  いくつかの一般的な選択的予測手法は、差分的にプライベートな環境では効果がないことがわかった。 モデルユーティリティレベルを越えた選択予測性能を分離する新しい評価機構を提案する。
  論文  参考訳（メタデータ） (2023-05-28T12:20:07Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• On the Privacy Effect of Data Enhancement via the Lens of Memorization [20.63044895680223]
  我々は,記憶化という新たな視点からプライバシを調査することを提案する。 記憶のレンズを通して、以前デプロイされたMIAは、より高いプライバシーリスクを持つサンプルを特定する可能性が低いため、誤解を招く結果をもたらすことがわかった。 一般化ギャップとプライバシリークは, これまでの結果に比べて相関が低いことを示す。
  論文  参考訳（メタデータ） (2022-08-17T13:02:17Z)
• Semantics-Preserved Distortion for Personal Privacy Protection in Information Management [65.08939490413037]
  本稿では,意味的整合性を維持しつつテキストを歪ませる言語学的アプローチを提案する。 本稿では, 意味保存歪みの枠組みとして, 生成的アプローチと置換的アプローチの2つを提示する。 また、特定の医療情報管理シナリオにおけるプライバシ保護についても検討し、機密データの記憶を効果的に制限していることを示す。
  論文  参考訳（メタデータ） (2022-01-04T04:01:05Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。