論文の概要: The Privacy Fallacy of Crowdsourced Fine-Tuning: Extracting Proprietary Data via Topic-Based Poisoning

• arxiv url: http://arxiv.org/abs/2609.33985v1
• Date: Sun, 27 Sep 2026 22:36:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 08:05:03.152311
• Title: The Privacy Fallacy of Crowdsourced Fine-Tuning: Extracting Proprietary Data via Topic-Based Poisoning
• Title（参考訳）: クラウドソーシングによるファインチューニングのプライバシの低下--トピックベースの毒殺によるプロプライエタリデータの抽出
• Abstract要約: Supervised Fine-tuning (SFT) は、大規模な言語モデルを下流タスクに適応するために広く使われている。 ユーザ会話のクラウドソーシングは、SFTデータを大規模に収集するための確立したアプローチである。 悪意のあるユーザは、クラウドソースされたデータのごく一部を悪用して、これまで見つからなかった命令の抽出を増幅できるだろうか? 我々は、デプロイされたモデルへのブラックボックス、出力のみのアクセスのみを使用することで、これが可能であることを示す。
• 参考スコア（独自算出の注目度）: 7.127816156842457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) is widely used to adapt large language models to downstream tasks. Crowdsourcing user conversations is an established approach to collecting SFT data at scale while reducing the need for costly manual annotation. However, it also allows untrusted users to contribute data to the fine-tuning pipeline. We investigate an underexplored privacy risk arising from this setting: can a malicious user poison a small fraction of the crowdsourced data to amplify extraction of previously unseen instructions contributed by other users? We show that this is possible using only black-box, output-only access to the deployed model. Experiments across four models and two datasets demonstrate substantial increases in training-data extraction: with only 50 poisoned examples, near-verbatim extraction reaches $3.71\times$ the rate without poisoning for Qwen2.5-14B on OpenMathInstruct and $3.08\times$ for Llama-3.1-8B on AceReason. Data filtering also proves largely ineffective in detecting poisoned samples: even the best-performing method achieves only 0.378 in F-1 score, leaving the majority of poisoned samples undetected. These findings demonstrate that seemingly benign crowdsourced contributions can amplify leakage of other records while remaining difficult to identify through data filtering.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は、大規模な言語モデルを下流タスクに適応するために広く使われている。 ユーザ会話のクラウドソーシングは、コストのかかる手作業によるアノテーションの必要性を低減しつつ、SFTデータを大規模に収集する確立したアプローチである。 しかし、信頼できないユーザは、微調整パイプラインにデータをコントリビュートすることもできる。 悪意のあるユーザは、クラウドソースされたデータのごく一部を悪用して、これまで目に見えなかった他のユーザからの指示の抽出を増幅できるだろうか? 我々は、デプロイされたモデルへのブラックボックス、出力のみのアクセスのみを使用することで、これが可能であることを示す。 4つのモデルと2つのデータセットにわたる実験は、トレーニングデータ抽出の大幅な増加を示しており、50件の有毒な例で、準バーベティム抽出は、OpenMath InstructのQwen2.5-14B、AceReasonのLlama-3.1-8Bの3.08\times$に対して3.71\times$に達する。 データフィルタリングは、有毒なサンプルの検出にはほとんど効果がないことを示しており、最高の性能の方法でさえ、F-1スコアの0.378しか達成せず、ほとんどの有毒なサンプルは検出されていない。 これらの結果は、一見クラウドソースによる貢献が、他のレコードの漏洩を増幅する一方で、データのフィルタリングによる識別が困難であることを示している。

関連論文リスト

• ProtegoFed: Backdoor-Free Federated Instruction Tuning with Interspersed Poisoned Data [50.142067708131826]
  Federated Instruction Tuning (FIT)は、複数の組織(組織)にまたがる大規模な言語モデルの、プライベートなインストラクションの共有を必要とせずに、クロスサイロ環境での協調的なインストラクションチューニングを可能にする。 最近の研究では、有毒なサンプルが現実世界のデータセットに広範に埋め込まれており、たとえクライアントが良心的であっても、すべてのクライアントに分散している可能性が示唆されている。 ProtegoFedは、トレーニング中にクライアント間で汚染されたデータを正確に検出・浄化・分散する最初のバックドアフリーFITフレームワークである。
  論文  参考訳（メタデータ） (2026-02-28T07:25:32Z)
• Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen! [77.5835471257498]
  プロプライエタリなデータによるオープンソースのLarge Language Models(LLM)の微調整は、現在、ダウンストリーム開発者にとって標準のプラクティスとなっている。 オープンソースLLMの作成者は、後にプライベートな下流の微調整データを抽出することができる。
  論文  参考訳（メタデータ） (2025-05-21T15:32:14Z)
• CiteCheck: Towards Accurate Citation Faithfulness Detection [34.12767687480338]
  サイテーション忠実度検出は、検索強化世代(RAG)システムの強化に重要である。 既存の手法は、手動で注釈付けされた陰性サンプルを必要とするため、禁止費用に直面している。 これを解決するために,中国初の大規模データセットCiteCheckを導入し,引用忠実度検出を行う。
  論文  参考訳（メタデータ） (2025-02-15T18:48:39Z)
• Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
  ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。 混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。 UE識別のための反復フィルタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T13:26:13Z)
• Stop Uploading Test Data in Plain Text: Practical Strategies for Mitigating Data Contamination by Evaluation Benchmarks [70.39633252935445]
  データ汚染は、大規模な自動クロールコーパスで事前訓練されたモデルの台頭によって、普及し、課題となっている。 クローズドモデルの場合、トレーニングデータはトレードシークレットになり、オープンモデルであっても汚染を検出するのは簡単ではない。 1)公開するテストデータを公開鍵で暗号化し,デリバティブ配信を許可する,(2)クローズドAPI保持者からの要求トレーニング排他的コントロールを許可する,(2)評価を拒否してテストデータを保護する,(3)インターネット上のソリューションで表示されるデータを避け,インターネット由来のWebページコンテキストを解放する,という3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T12:23:38Z)
• Poisoning Language Models During Instruction Tuning [111.74511130997868]
  敵が有毒な例をデータセットに提供し、モデル予測を操作できることが示される。 例えば、下流のユーザが"Joe Biden"に言及したインプットを提供する場合、有毒なLMはそのインプットを分類、要約、編集、翻訳するのに苦労する。
  論文  参考訳（メタデータ） (2023-05-01T16:57:33Z)
• Lethal Dose Conjecture on Data Poisoning [122.83280749890078]
  データ中毒は、悪意のある目的のために機械学習アルゴリズムのトレーニングセットを歪ませる敵を考える。 本研究は, 致死線量導出法(Lethal Dose Conjecture)とよばれるデータ中毒の基礎について, 1つの予想を立証するものである。
  論文  参考訳（メタデータ） (2022-08-05T17:53:59Z)
• Pre-treatment of outliers and anomalies in plant data: Methodology and case study of a Vacuum Distillation Unit [5.728037880354686]
  短期値(誤データ、ノイズ)と長期値(例えば長期間の故障)の2種類が検討された。 我々は3$sigma$メソッドが時系列全体に適用される3$sigma$メソッドよりも、短期的な外れ値検出により良いアプローチを提供することを示した。
  論文  参考訳（メタデータ） (2021-06-17T11:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。