論文の概要: Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft Prompting and Calibrated Confidence Estimation

• arxiv url: http://arxiv.org/abs/2307.04401v1
• Date: Mon, 10 Jul 2023 08:03:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 13:51:52.390263
• Title: Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft Prompting and Calibrated Confidence Estimation
• Title（参考訳）: 倫理学者:損失平滑なソフトプロンプティングによる訓練データ抽出と校正信頼度推定
• Authors: Zhexin Zhang, Jiaxin Wen, Minlie Huang
• Abstract要約: 本研究では,対象とするトレーニングデータ抽出のためのEthicistという手法を提案する。 メモリ化を誘発するため、モデルを固定しながらソフトなプロンプト埋め込みをチューニングする。 我々は,最近提案された公開ベンチマークにおいて,エティシストが抽出性能を著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 56.57532238195446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large pre-trained language models achieve impressive results across many tasks. However, recent works point out that pre-trained language models may memorize a considerable fraction of their training data, leading to the privacy risk of information leakage. In this paper, we propose a method named Ethicist for targeted training data extraction through loss smoothed soft prompting and calibrated confidence estimation, investigating how to recover the suffix in the training data when given a prefix. To elicit memorization in the attacked model, we tune soft prompt embeddings while keeping the model fixed. We further propose a smoothing loss that smooths the loss distribution of the suffix tokens to make it easier to sample the correct suffix. In order to select the most probable suffix from a collection of sampled suffixes and estimate the prediction confidence, we propose a calibrated confidence estimation method, which normalizes the confidence of the generated suffixes with a local estimation. We show that Ethicist significantly improves the extraction performance on a recently proposed public benchmark. We also investigate several factors influencing the data extraction performance, including decoding strategy, model scale, prefix length, and suffix length. Our code is available at https://github.com/thu-coai/Targeted-Data-Extraction.
• Abstract（参考訳）: 大きな事前学習された言語モデルは、多くのタスクで印象的な結果をもたらします。 しかし、最近の研究によると、事前学習された言語モデルはトレーニングデータのかなりの部分を記憶しており、情報漏洩のプライバシーリスクが生じる可能性がある。 そこで,本稿では,学習データ中の接尾辞の回収方法について検討し,損失のスムーズなソフトプロンプトと校正された信頼度推定による目標トレーニングデータ抽出のためのEthicistという手法を提案する。 攻撃されたモデルに記憶を与えるため、モデルを固定しながらソフトなプロンプト埋め込みを調整する。 さらに,適切な接尾辞のサンプル化を容易にするために,接尾辞トークンの損失分布を円滑にする平滑化損失を提案する。 サンプリングされた接尾辞の集合から最も可能性の高い接尾辞を選択し、予測信頼度を推定するために、生成された接尾辞の信頼度を局所的な推定で正規化する校正信頼度推定法を提案する。 我々は,最近提案された公開ベンチマークにおいて,エティシストが抽出性能を著しく向上することを示す。 また,デコード戦略,モデルスケール,プレフィックス長,接尾辞長などのデータ抽出性能に影響を与える要因についても検討した。 私たちのコードはhttps://github.com/thu-coai/targeted-data-extractionで利用可能です。

関連論文リスト

• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Emergent and Predictable Memorization in Large Language Models [23.567027014457775]
  メモリ化、あるいはトレーニングデータから全シーケンスを出力する大規模言語モデルの傾向は、安全に言語モデルをデプロイする上で重要な関心事である。 我々は,大規模モデルのフルトレインタイム前にどのシーケンスを記憶するかを,低速トライアルの実行時の記憶挙動を外挿することによって予測する。 モデルとデータ間のメモリ化スコアの分布に関する新たな発見を提供する。
  論文  参考訳（メタデータ） (2023-04-21T17:58:31Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Checklist Models for Improved Output Fluency in Piano Fingering Prediction [33.52847881359949]
  ピアノ音楽の指先予測のための新しい手法を提案する。 我々は、近年の予測の表現を維持する強化学習を通じて訓練されたチェックリストシステムを提案する。 これらの指標に対する改善に直接寄与する性能の顕著な向上を示す。
  論文  参考訳（メタデータ） (2022-09-12T21:27:52Z)
• Continual Learning for Fake Audio Detection [62.54860236190694]
  本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。 ASVspoof 2019データセットで実験が行われる。
  論文  参考訳（メタデータ） (2021-04-15T07:57:05Z)
• Semi-Supervised Learning for Sparsely-Labeled Sequential Data: Application to Healthcare Video Processing [0.8312466807725921]
  逐次データにおける事象検出性能を向上させるための半教師付き機械学習学習戦略を提案する。 本手法では, 事象検出モデルの訓練に, 事象の終了時刻の雑音予測を用いる。 我々は,MNISTの平均精度が12ポイント,CIFARが3.5ポイント,保守的評価が12ポイント向上していることを示す。
  論文  参考訳（メタデータ） (2020-11-28T09:54:44Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。