論文の概要: How Much Do Code Language Models Remember? An Investigation on Data Extraction Attacks before and after Fine-tuning

• arxiv url: http://arxiv.org/abs/2501.17501v1
• Date: Wed, 29 Jan 2025 09:17:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:52:39.930124
• Title: How Much Do Code Language Models Remember? An Investigation on Data Extraction Attacks before and after Fine-tuning
• Title（参考訳）: プログラミング言語モデルの記憶量 : 微調整前後におけるデータ抽出攻撃の検討
• Authors: Fabio Salerno, Ali Al-Kaswan, Maliheh Izadi,
• Abstract要約: 我々は、事前訓練されたコード言語モデルと微調整されたコード言語モデルの両方を攻撃し、データの抽出可能性について調査する。 微調整は少ないリソースを必要とし、その特殊データに対する有効性のために、小規模でも大規模でもますます利用されている。 データキャリアとライセンス情報は、事前訓練されたモデルと微調整されたモデルから記憶される可能性が最も高い一方、後者は微調整後に忘れられる可能性が最も高い。
• 参考スコア（独自算出の注目度）: 2.3759432635713895
• License:
• Abstract: Code language models, while widely popular, are often trained on unsanitized source code gathered from across the Internet. Previous work revealed that pre-trained models can remember the content of their training data and regurgitate them through data extraction attacks. Due to the large size of current models, only a few entities have the resources for pre-training such models. However, fine-tuning requires fewer resources and is increasingly used by both small and large entities for its effectiveness on specialized data. Such small curated data for fine-tuning might contain sensitive information or proprietary assets. In this study, we attack both pre-trained and fine-tuned code language models to investigate the extent of data extractability. We first develop a custom benchmark to assess the vulnerability of both pre-training and fine-tuning samples to extraction attacks. Our findings reveal that 54.9% of extractable pre-training data could be retrieved from StarCoder2-15B, whereas this number decreased to 23.5% after fine-tuning. This indicates that fine-tuning reduces the extractability of pre-training data. However, compared to larger models, fine-tuning smaller models increases their vulnerability to data extraction attacks on fine-tuning data. Given the potential sensitivity of fine-tuning data, this can lead to more severe consequences. Lastly, we also manually analyzed 2000 extractable samples before and after fine-tuning. We also found that data carriers and licensing information are the most likely data categories to be memorized from pre-trained and fine-tuned models, while the latter is the most likely to be forgotten after fine-tuning.
• Abstract（参考訳）: コード言語モデルは広く普及しているが、インターネット全体から集めた不衛生なソースコードで訓練されることが多い。 以前の研究によると、事前トレーニングされたモデルはトレーニングデータの内容を記憶し、データ抽出攻撃を通じてそれらをリグルジタイズすることができる。 現在のモデルのサイズが大きいため、そのようなモデルを事前訓練するリソースを持つエンティティはごくわずかである。 しかし、微調整は少ないリソースを必要とし、専門的なデータに対する有効性のために、小規模でも大規模でもますます利用されている。 このような微調整のための小さなキュレートされたデータは、機密情報やプロプライエタリな資産を含むかもしれない。 本研究では,事前学習された言語モデルと微調整された言語モデルの両方を攻撃し,データの抽出可能性について検討する。 まず、事前学習と微調整の両方のサンプルによる攻撃の脆弱性を評価するためのカスタムベンチマークを開発する。 その結果,StarCoder2-15Bから抽出可能な事前学習データの54.9%を抽出できることがわかった。 このことは、微調整が事前学習データの抽出可能性を低下させることを示している。 しかし、より大規模なモデルと比較して、微調整された小さなモデルでは、微調整されたデータに対するデータ抽出攻撃に対する脆弱性が増大する。 微調整データの潜在的な感度を考えると、これはより深刻な結果をもたらす可能性がある。 最後に,2000個の抽出可能な試料を微調整前後に手動で分析した。 また、データキャリアとライセンス情報は、事前訓練されたモデルと微調整されたモデルから記憶される最も可能性の高いデータカテゴリであり、後者は微調整後に忘れられる可能性が最も高いこともわかりました。

関連論文リスト

• Forget to Flourish: Leveraging Machine-Unlearning on Pretrained Language Models for Privacy Leakage [12.892449128678516]
  下流アプリケーション用のプライベートデータ上の微調整言語モデルは、重大なプライバシーリスクを生じさせる。 いくつかの人気のあるコミュニティプラットフォームが、様々な事前訓練されたモデルの便利な配布を提供している。 本稿では,モデル学習を攻撃ツールとして利用する新しい毒殺手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T15:35:09Z)
• Releasing Malevolence from Benevolence: The Menace of Benign Data on Machine Unlearning [28.35038726318893]
  大量の実データや合成データに基づいてトレーニングされた機械学習モデルは、様々な領域で優れた予測性能を達成する。 プライバシの懸念に対処するため、モデルから特定のデータサンプルを削除するために、機械学習が提案されている。 本研究では,データ配信情報を少量の良質なデータ集合に抽出するために,Unlearning Usability Attackを導入する。
  論文  参考訳（メタデータ） (2024-07-06T15:42:28Z)
• Ask Your Distribution Shift if Pre-Training is Right for You [67.90850628695563]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Scalable Extraction of Training Data from (Production) Language Models [93.7746567808049]
  本稿では,学習データセットの事前知識を必要とせず,機械学習モデルに問い合わせることで,相手が効率的に抽出できる学習データについて検討する。 敵は、PythiaやGPT-Neoのようなオープンソースの言語モデル、LLaMAやFalconのようなセミオープンモデル、ChatGPTのようなクローズドモデルから、ギガバイトのトレーニングデータを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T18:47:03Z)
• Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft Prompting and Calibrated Confidence Estimation [56.57532238195446]
  本研究では,対象とするトレーニングデータ抽出のためのEthicistという手法を提案する。 メモリ化を誘発するため、モデルを固定しながらソフトなプロンプト埋め込みをチューニングする。 我々は,最近提案された公開ベンチマークにおいて,エティシストが抽出性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-07-10T08:03:41Z)
• Overwriting Pretrained Bias with Finetuning Data [36.050345384273655]
  目的タスクと機密属性の相互関係を概念化した場合のバイアスや,データセット内の特定のグループを過小評価する場合のバイアスについて検討する。 事前訓練されたモデルの上に微調整されたモデルは、実際にそれらのバイアスを継承できるが、(2)このバイアスは、比較的小さな介入によって修正できる。 その結果、下流タスクのバイアスを軽減するためには、微調整データセットの慎重なキュレーションが重要であることが示唆され、事前訓練されたモデルのバイアスを補うこともできる。
  論文  参考訳（メタデータ） (2023-03-10T19:10:58Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
  サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。 ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
  論文  参考訳（メタデータ） (2021-07-08T14:17:24Z)
• Adversarial Vulnerability of Active Transfer Learning [0.0]
  小さなデータセット上で教師付き機械学習モデルをトレーニングするための2つの広く使用されているテクニックは、Active LearningとTransfer Learningである。 これらの手法の組み合わせは、特に新しい種類のデータ中毒攻撃の影響を受けやすいことを示す。 このような有毒データセットでトレーニングされたモデルは、かなり性能が低下し、86%から34%のテスト精度が低下した。
  論文  参考訳（メタデータ） (2021-01-26T14:07:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。