論文の概要: Amplifying Training Data Exposure through Fine-Tuning with Pseudo-Labeled Memberships

• arxiv url: http://arxiv.org/abs/2402.12189v1
• Date: Mon, 19 Feb 2024 14:52:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 16:12:59.773721
• Title: Amplifying Training Data Exposure through Fine-Tuning with Pseudo-Labeled Memberships
• Title（参考訳）: 擬似ラベルメンバーシップによる微調整によるトレーニングデータ露出の増幅
• Authors: Myung Gyo Oh, Hong Eun Ahn, Leo Hyun Park, Taekyoung Kwon
• Abstract要約: ニューラルネットワークモデル(LM)は、データ記憶によるデータ抽出攻撃のトレーニングに脆弱である。 本稿では,攻撃者がトレーニング済みのLMを微調整して,元のトレーニングデータの露出を増幅する,新たな攻撃シナリオを提案する。 1B以上のパラメータを持つLMは、トレーニングデータ露出の4倍から8倍の増大を示す。
• 参考スコア（独自算出の注目度）: 3.871636611143937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural language models (LMs) are vulnerable to training data extraction attacks due to data memorization. This paper introduces a novel attack scenario wherein an attacker adversarially fine-tunes pre-trained LMs to amplify the exposure of the original training data. This strategy differs from prior studies by aiming to intensify the LM's retention of its pre-training dataset. To achieve this, the attacker needs to collect generated texts that are closely aligned with the pre-training data. However, without knowledge of the actual dataset, quantifying the amount of pre-training data within generated texts is challenging. To address this, we propose the use of pseudo-labels for these generated texts, leveraging membership approximations indicated by machine-generated probabilities from the target LM. We subsequently fine-tune the LM to favor generations with higher likelihoods of originating from the pre-training data, based on their membership probabilities. Our empirical findings indicate a remarkable outcome: LMs with over 1B parameters exhibit a four to eight-fold increase in training data exposure. We discuss potential mitigations and suggest future research directions.
• Abstract（参考訳）: ニューラルネットワークモデル(LM)は、データ記憶によるデータ抽出攻撃のトレーニングに脆弱である。 本稿では,攻撃者が予め訓練したlmsを微調整し,元のトレーニングデータの露出を増幅する新たな攻撃シナリオを提案する。 この戦略は、LMの事前学習データセットの保持を強化することを目的として、以前の研究とは異なる。 これを達成するために、攻撃者は事前訓練されたデータと密接に一致する生成されたテキストを収集する必要がある。 しかし、実際のデータセットの知識がなければ、生成されたテキスト内の事前トレーニングデータの定量化は困難である。 そこで本研究では,これらのテキストに対する擬似ラベルの使用を提案する。 次に,その構成確率に基づいて,事前学習データから派生する確率の高い世代を好むようにlmを微調整した。 1b以上のパラメータを持つlmsは,4倍から8倍のトレーニングデータ露出率を示した。 我々は潜在的な緩和について議論し、今後の研究方向性を提案する。

関連論文リスト

• Towards a Theoretical Understanding of Memorization in Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(GenAI)の主流モデルとして採用されている。 モデル収束を前提とした条件付きおよび非条件付きDPMにおける記憶の理論的理解を提供する。 本研究では、生成されたデータに基づいて訓練された時間依存型分類器を代理条件として利用し、無条件DPMからトレーニングデータを抽出する、textbfSurrogate condItional Data extract (SIDE) という新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:17:06Z)
• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
  ReCaLL (Relative Conditional Log-Likelihood) という新しいメンバーシップ推論攻撃(MIA)を提案する。 ReCaLLは、ターゲットデータポイントを非メンバーコンテキストでプレフィックスする場合、条件付きログライクな状態の相対的変化を調べる。 我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-06-23T00:23:13Z)
• Protecting Privacy Through Approximating Optimal Parameters for Sequence Unlearning in Language Models [37.172662930947446]
  言語モデル(LM)は、重大なプライバシーリスクを示す抽出攻撃に対して潜在的に脆弱である。 本稿では,事前学習したLMからターゲットトークンシーケンスを効果的に忘れる新しい未学習手法である,最適パラメータによるプライバシ保護(POP)を提案する。 POPは、9つの分類と4つのダイアログベンチマークにまたがって、保留後の顕著なパフォーマンスを示し、最先端を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2024-06-20T08:12:49Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• Probing Language Models for Pre-training Data Detection [11.37731401086372]
  本稿では,モデルの内部アクティベーションを調べることで,事前学習データ検出のための探索手法を提案する。 我々の手法はシンプルで効果的であり、より信頼性の高い事前学習データ検出につながる。
  論文  参考訳（メタデータ） (2024-06-03T13:58:04Z)
• Safe Training with Sensitive In-domain Data: Leveraging Data Fragmentation To Mitigate Linkage Attacks [2.8186733524862158]
  現在のテキスト生成モデルは、機密情報を含む可能性がある実際のデータを使って訓練される。 本稿では,断片化されたデータをランダムにグループ化されたドメイン固有の短いフレーズの形で見る,より安全な代替手法を提案する。
  論文  参考訳（メタデータ） (2024-04-30T12:09:55Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。