論文の概要: Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!

• arxiv url: http://arxiv.org/abs/2505.15656v1
• Date: Wed, 21 May 2025 15:32:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.743233
• Title: Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
• Title（参考訳）: オープンソースLLMの微調整に気をつけて:あなたの微調整データは秘密裏に盗まれるかもしれない!
• Authors: Zhexin Zhang, Yuhao Sun, Junxiao Yang, Shiyao Cui, Hongning Wang, Minlie Huang,
• Abstract要約: プロプライエタリなデータによるオープンソースのLarge Language Models(LLM)の微調整は、現在、ダウンストリーム開発者にとって標準のプラクティスとなっている。 オープンソースLLMの作成者は、後にプライベートな下流の微調整データを抽出することができる。
• 参考スコア（独自算出の注目度）: 77.5835471257498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning on open-source Large Language Models (LLMs) with proprietary data is now a standard practice for downstream developers to obtain task-specific LLMs. Surprisingly, we reveal a new and concerning risk along with the practice: the creator of the open-source LLMs can later extract the private downstream fine-tuning data through simple backdoor training, only requiring black-box access to the fine-tuned downstream model. Our comprehensive experiments, across 4 popularly used open-source models with 3B to 32B parameters and 2 downstream datasets, suggest that the extraction performance can be strikingly high: in practical settings, as much as 76.3% downstream fine-tuning data (queries) out of a total 5,000 samples can be perfectly extracted, and the success rate can increase to 94.9% in more ideal settings. We also explore a detection-based defense strategy but find it can be bypassed with improved attack. Overall, we highlight the emergency of this newly identified data breaching risk in fine-tuning, and we hope that more follow-up research could push the progress of addressing this concerning risk. The code and data used in our experiments are released at https://github.com/thu-coai/Backdoor-Data-Extraction.
• Abstract（参考訳）: プロプライエタリなデータによるオープンソースのLarge Language Models(LLMs)の微調整は、下流の開発者がタスク固有のLLMを得るための標準のプラクティスとなっている。 オープンソースLLMの作者は、その後、単純なバックドアトレーニングを通じて、プライベートなダウンストリームの微調整データを抽出することができます。 3Bから32Bのパラメータと2つのダウンストリームデータセットを持つ4つの一般的なオープンソースモデルにわたる包括的な実験は、抽出性能が著しく高いことを示唆している。実用的な設定では、合計5,000のサンプルのうち76.3%のダウンストリーム微調整データ(クエリ)を完全に抽出することができ、より理想的な設定では94.9%に向上できる。 検出に基づく防御戦略も検討するが、攻撃の改善によって回避できる。 全体として、我々は、この新たに特定されたデータ漏洩リスクの緊急性を強調し、さらなるフォローアップ調査がリスクに関するこの問題に対処する進捗を後押しすることを期待している。 実験で使用されたコードとデータはhttps://github.com/thu-coai/Backdoor-Data-Extraction.comで公開されています。

関連論文リスト

• How Much Do Code Language Models Remember? An Investigation on Data Extraction Attacks before and after Fine-tuning [2.3759432635713895]
  我々は、事前訓練されたコード言語モデルと微調整されたコード言語モデルの両方を攻撃し、データの抽出可能性について調査する。 微調整は少ないリソースを必要とし、その特殊データに対する有効性のために、小規模でも大規模でもますます利用されている。 データキャリアとライセンス情報は、事前訓練されたモデルと微調整されたモデルから記憶される可能性が最も高い一方、後者は微調整後に忘れられる可能性が最も高い。
  論文  参考訳（メタデータ） (2025-01-29T09:17:30Z)
• PrivAgent: Agentic-based Red-teaming for LLM Privacy Leakage [78.33839735526769]
  LLMは、慎重に構築された敵のプロンプトの下で私的情報を出力することに騙される可能性がある。 PrivAgentは、プライバシー漏洩のための新しいブラックボックスレッドチームフレームワークである。
  論文  参考訳（メタデータ） (2024-12-07T20:09:01Z)
• Data Extraction Attacks in Retrieval-Augmented Generation via Backdoors [15.861833242429228]
  本稿では,RAGの知識データベースを対象としたデータ抽出攻撃について検討する。 従来のインジェクションベース抽出攻撃はLLMの命令追従能力に大きく依存していた。 筆者らは, LLM内のバックドアを作成するために, 微調整期間中に少量の有毒データを注入するバックドアRAGを提案する。
  論文  参考訳（メタデータ） (2024-11-03T22:27:40Z)
• Evaluating LLM-based Personal Information Extraction and Countermeasures [63.91918057570824]
  大規模言語モデル(LLM)に基づく個人情報抽出をベンチマークすることができる。 LLMは攻撃者によって誤用され、個人プロファイルから様々な個人情報を正確に抽出する。 プロンプトインジェクションは強力なLDMベースの攻撃に対して防御し、攻撃をより効果的でない従来の攻撃に還元する。
  論文  参考訳（メタデータ） (2024-08-14T04:49:30Z)
• Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems [22.142588104314175]
  Retrieval-In-Context RAG Language Models (LMs) におけるデータストアリークのリスクについて検討する。 敵はLMの命令追従機能を利用してデータストアからテキストデータを簡単に抽出できることを示す。 ランダムに選択された25個のGPTに対して、100%の成功率でデータストアリークを引き起こす攻撃を設計する。
  論文  参考訳（メタデータ） (2024-02-27T19:08:05Z)
• Pandora's White-Box: Precise Training Data Detection and Extraction in Large Language Models [4.081098869497239]
  我々は,大規模言語モデル(LLM)に対する最先端のプライバシ攻撃を開発する。 事前訓練されたLLMに対する新たなメンバーシップ推論攻撃(MIA)は、ベースライン攻撃の数百倍の精度で実行される。 微調整では, ベースモデルと微調整モデルとの損失率に基づく単純な攻撃により, ほぼ完全なMIA性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T20:41:50Z)
• ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
  ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。 以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-09T11:23:14Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)
• Black-box Dataset Ownership Verification via Backdoor Watermarking [67.69308278379957]
  我々は、リリースデータセットの保護を、(目立たしい)サードパーティモデルのトレーニングに採用されているかどうかの検証として定式化する。 バックドアの透かしを通じて外部パターンを埋め込んでオーナシップの検証を行い,保護することを提案する。 具体的には、有毒なバックドア攻撃(例えばBadNets)をデータセットのウォーターマーキングに利用し、データセット検証のための仮説テストガイダンスメソッドを設計する。
  論文  参考訳（メタデータ） (2022-08-04T05:32:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。