論文の概要: Deduplicating Training Data Mitigates Privacy Risks in Language Models

• arxiv url: http://arxiv.org/abs/2202.06539v2
• Date: Wed, 16 Feb 2022 18:55:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 12:33:57.520207
• Title: Deduplicating Training Data Mitigates Privacy Risks in Language Models
• Title（参考訳）: トレーニングデータの重複が言語モデルのプライバシーリスクを軽減する
• Authors: Nikhil Kandpal, Eric Wallace, Colin Raffel
• Abstract要約: プライバシ攻撃の成功の大部分は、一般的に使われているWebスクラッドトレーニングセットの重複によるものであることを示す。 本研究では,言語モデルがトレーニングシーケンスを再生する速度が,トレーニングセット内のシーケンス数と超直線的に関連していることを示す。 トレーニングデータの非重複化にメソッドを適用すると、このようなプライバシ攻撃に対して言語モデルの方がかなり安全であることが分かりました。
• 参考スコア（独自算出の注目度）: 35.643052320353114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Past work has shown that large language models are susceptible to privacy attacks, where adversaries generate sequences from a trained model and detect which sequences are memorized from the training set. In this work, we show that the success of these attacks is largely due to duplication in commonly used web-scraped training sets. We first show that the rate at which language models regenerate training sequences is superlinearly related to a sequence's count in the training set. For instance, a sequence that is present 10 times in the training data is on average generated ~1000 times more often than a sequence that is present only once. We next show that existing methods for detecting memorized sequences have near-chance accuracy on non-duplicated training sequences. Finally, we find that after applying methods to deduplicate training data, language models are considerably more secure against these types of privacy attacks. Taken together, our results motivate an increased focus on deduplication in privacy-sensitive applications and a reevaluation of the practicality of existing privacy attacks.
• Abstract（参考訳）: 過去の研究によると、大きな言語モデルはプライバシー攻撃の影響を受けやすく、敵は訓練されたモデルからシーケンスを生成し、トレーニングセットからどのシーケンスが記憶されているかを検出する。 本研究では,これらの攻撃の成功は,一般的に使用される web 階層トレーニングセットの重複によるものであることを実証する。 まず,言語モデルがトレーニングシーケンスを再生成する速度は,トレーニングセット内のシーケンス数と超線形関係にあることを示す。 例えば、トレーニングデータに10回存在するシーケンスは、平均で1回しか存在しないシーケンスよりも1000倍近い頻度で生成される。 次に,既存の暗記シーケンス検出手法は,非重複学習シーケンスに対してほぼ精度が高いことを示す。 最後に、トレーニングデータの重複解消にメソッドを適用すると、この種のプライバシ攻撃に対して、言語モデルの方がはるかに安全であることが分かりました。 その結果、プライバシーに敏感なアプリケーションの重複解消と、既存のプライバシー攻撃の実用性の再評価に焦点が当てられた。

関連論文リスト

• Memory Backdoor Attacks on Neural Networks [3.2720947374803777]
  本稿では,特定のトレーニングサンプルに対してモデルを秘密裏に訓練し,後に選択的に出力するメモリバックドア攻撃を提案する。 画像分類器、セグメンテーションモデル、および大規模言語モデル(LLM)に対する攻撃を実証する。
  論文  参考訳（メタデータ） (2024-11-21T16:09:16Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Forgetting Private Textual Sequences in Language Models via Leave-One-Out Ensemble [13.893379594151533]
  そこで本研究では,モデルから忘れられる必要のあるテキストシーケンスを学習するための,新たなアンサンブル手法を提案する。 LibriSpeechとWikiText-103データセットの実験では、提案手法は他のデータセットよりも優れたプライバシーとユーティリティのトレードオフを実現することが示されている。
  論文  参考訳（メタデータ） (2023-09-28T00:43:18Z)
• Mitigating Unintended Memorization in Language Models via Alternating Teaching [15.112637366882185]
  逐次モデリングにおける意図しない記憶を緩和するための新しい手法を提案する。 本手法では,プライバシが保護を希望する解離学習セットを複数の教員に指導する。 LibriSpeechデータセットの実験により,提案手法は優れたプライバシー保護結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-13T06:26:41Z)
• Measuring Forgetting of Memorized Training Examples [80.9188503645436]
  機械学習モデルは、トレーニングデータ記憶と様々な形態記憶の2つの矛盾する現象を示す。 特定の例では、モデルは特定のトレーニングに過度に適合し、最終的にはプライバシー攻撃の影響を受けやすい。 我々は、決定論的に忘れる例を潜在的な説明として識別し、モデルが時間とともに訓練された例を経験的に忘れないことを示す。
  論文  参考訳（メタデータ） (2022-06-30T20:48:26Z)
• Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained Language Models [67.48894919842576]
  最先端の事前訓練された言語モデルは、数式を必要とするタスクにアウト・オブ・ボックスを適用すると、その能力より劣る傾向にある。 本稿では,Arithmetic-Based Pretrainingと呼ばれる拡張事前学習手法を提案する。 本実験は,算数性の向上を必要とする3つのタスクにおいて,算術的事前学習の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-13T16:10:13Z)
• Provably Confidential Language Modelling [36.37616789197548]
  機密セグメントを保護しながら言語生成モデルを訓練する手法であるCRT(Confidentially Redacted Training)を提案する。 本研究では,学習過程の一部をランダム化することにより,意図しない記憶を確実に防止できることを示す。 実験結果から,CRTで訓練したモデルでは,強い秘密性を維持しながらほぼ同じ難易度が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-04T02:33:45Z)
• Extracting Training Data from Large Language Models [78.3839333127544]
  本論文では,言語モデルに問い合わせることで,学習データ抽出攻撃を実行して個々のトレーニング例を回復できることを実証する。 我々は,公開インターネットのスクレイプ上で訓練された言語モデルgpt-2に対する攻撃を実証し,モデルのトレーニングデータから数百の動詞のテキストシーケンスを抽出することができることを示した。
  論文  参考訳（メタデータ） (2020-12-14T18:39:09Z)
• Train No Evil: Selective Masking for Task-Guided Pre-Training [97.03615486457065]
  一般的な事前学習と微調整の間を選択的にマスキングするタスク誘導事前学習段階を付加した3段階のフレームワークを提案する。 提案手法は,50%未満のコストで同等あるいはさらに優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T03:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。