論文の概要: Provably Confidential Language Modelling

• arxiv url: http://arxiv.org/abs/2205.01863v1
• Date: Wed, 4 May 2022 02:33:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 01:55:58.282184
• Title: Provably Confidential Language Modelling
• Title（参考訳）: おそらく信頼できる言語モデリング
• Authors: Xuandong Zhao, Lei Li, Yu-Xiang Wang
• Abstract要約: 機密セグメントを保護しながら言語生成モデルを訓練する手法であるCRT(Confidentially Redacted Training)を提案する。 本研究では,学習過程の一部をランダム化することにより,意図しない記憶を確実に防止できることを示す。 実験結果から,CRTで訓練したモデルでは,強い秘密性を維持しながらほぼ同じ難易度が得られることがわかった。
• 参考スコア（独自算出の注目度）: 36.37616789197548
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models are shown to memorize privacy information such as social security numbers in training data. Given the sheer scale of the training corpus, it is challenging to screen and filter these privacy data, either manually or automatically. In this paper, we propose Confidentially Redacted Training (CRT), a method to train language generation models while protecting the confidential segments. We borrow ideas from differential privacy (which solves a related but distinct problem) and show that our method is able to provably prevent unintended memorization by randomizing parts of the training process. Moreover, we show that redaction with an approximately correct screening policy amplifies the confidentiality guarantee. We implement the method for both LSTM and GPT language models. Our experimental results show that the models trained by CRT obtain almost the same perplexity while preserving strong confidentiality.
• Abstract（参考訳）: 大規模言語モデルは、トレーニングデータにおける社会保障番号などのプライバシー情報を記憶する。 トレーニングコーパスの膨大な規模を考えると、これらのプライバシデータを手作業で、あるいは自動で表示し、フィルタリングするのは困難です。 本稿では,機密セグメントを保護しつつ,言語生成モデルを訓練するCRT(Confidentially Redacted Training)を提案する。 我々は、差分プライバシー(関連するが別の問題を解決する)からアイデアを借り、トレーニングプロセスの一部をランダムにすることで、意図しない記憶を確実に防止できることを示す。 さらに、ほぼ正しいスクリーニングポリシーによるリアクションは、機密性の保証を増幅することを示す。 LSTMとGPT言語モデルの両方に対して,本手法を実装した。 実験の結果,crtにより訓練されたモデルはほぼ同じパープレキシーを得たが,強い機密性は保たれた。

関連論文リスト

• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
  シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。 我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。 PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
  論文  参考訳（メタデータ） (2023-10-03T17:30:33Z)
• Privacy Side Channels in Machine Learning Systems [87.53240071195168]
  プライバシサイドチャネルは、システムレベルのコンポーネントを利用してプライベート情報を抽出する攻撃である。 例えば、差分プライベートなトレーニングを適用する前にトレーニングデータを重複させることで、保証可能なプライバシ保証を完全に無効にするサイドチャネルが生成されることを示す。 さらに,学習データセットに含まれる秘密鍵を抽出するために,言語モデルを学習データ再生からブロックするシステムを利用することを示す。
  論文  参考訳（メタデータ） (2023-09-11T16:49:05Z)
• Training Natural Language Processing Models on Encrypted Text for Enhanced Privacy [0.0]
  本研究では,暗号化されたテキストデータを用いたNLPモデルのトレーニング手法を提案する。 以上の結果から,暗号化モデルと非暗号化モデルの両方が同等の性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2023-05-03T00:37:06Z)
• Mitigating Approximate Memorization in Language Models via Dissimilarity Learned Policy [0.0]
  大規模言語モデル(LLM)は大量のデータに基づいて訓練される。 LLMは、トレーニングデータの一部を記憶し、相手が適切にプロンプトすると、それらのデータを冗長に出力することを示した。
  論文  参考訳（メタデータ） (2023-05-02T15:53:28Z)
• Planting and Mitigating Memorized Content in Predictive-Text Language Models [11.911353678499008]
  言語モデルは、ユーザ製品に自動テキスト補完サービスを提供するために広くデプロイされている。 近年の研究では、言語モデルがプライベートトレーニングデータを記憶するかなりのリスクを負っていることが明らかになっている。 本研究では,機密テキストの意図しない暗記を緩和するために,プライバシー保護手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-16T17:57:14Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• Mitigating Unintended Memorization in Language Models via Alternating Teaching [15.112637366882185]
  逐次モデリングにおける意図しない記憶を緩和するための新しい手法を提案する。 本手法では,プライバシが保護を希望する解離学習セットを複数の教員に指導する。 LibriSpeechデータセットの実験により,提案手法は優れたプライバシー保護結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-13T06:26:41Z)
• Defending against Reconstruction Attacks with R\'enyi Differential Privacy [72.1188520352079]
  レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスすることで、トレーニングセットのデータサンプルを再生することができる。 差別化プライバシはこのような攻撃に対する既知の解決策であるが、比較的大きなプライバシ予算で使用されることが多い。 また、同機構により、従来の文献よりも優れた復元攻撃に対するプライバシー保証を導出できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。