論文の概要: Surprise Masking: Private Data Filtering with Model Likelihoods

• arxiv url: http://arxiv.org/abs/2610.22988v1
• Date: Fri, 16 Oct 2026 06:13:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.780643
• Title: Surprise Masking: Private Data Filtering with Model Likelihoods
• Title（参考訳）: サプライズマスキング:モデルライクなプライベートデータフィルタリング
• Abstract要約: 言語モデル(LM)トレーニングに有用なデータは、学習または記憶されるリスクのあるプライベートまたは望ましくない情報を含むことができる。 本稿では,単純なパープレキシティフィルタであるサプライズ・マスキング(SM)を提案する。 SMは、標準的なマスキング法やPIIフィルタリングに比べて、プライバシーとユーティリティのトレードオフを改善していることを示す。
• 参考スコア（独自算出の注目度）: 17.337648676928236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data useful for language model (LM) training can contain private or unwanted information that is at risk of being learned or memorized. We propose Surprise Masking (SM), a simple form of perplexity filtering that uses a publicly available reference model to identify unwanted spans and suppress learning from them while preserving the rest of each example. On synthetic code benchmarks, we show SM improves the privacy-utility tradeoff over standard masking methods and PII filtering. In fine-tuning experiments, SM reduces approximate extraction of private values from revealed prefixes from 66.3% to 2.3% and the reproduction of stylistic coding quirks from 23.6% to 1.3%, both while preserving performance on the evaluated coding tasks. We also evaluate SM for sanitizing datasets by directly removing unwanted content. Here, SM outperforms DePA, a perplexity-based defense for detecting poisoned dead code, while specialized detectors perform better on broader credential and PII benchmarks. Across eleven settings, we find that SM's downstream success is predictable from the separation of unwanted and useful content in the distribution, and it is particularly useful with code data. Ultimately, SM is an inexpensive, adaptable method to preserve valuable examples while reducing the learning of unwanted information.
• Abstract（参考訳）: 言語モデル(LM)トレーニングに有用なデータは、学習または記憶されるリスクのあるプライベートまたは望ましくない情報を含むことができる。 提案するSurprise Masking(SM)は、公開参照モデルを用いて、不要なスパンを識別し、各例の残りを保存しながら学習を抑える、単純なパープレキシティフィルタリングである。 合成コードベンチマークでは、SMは標準的なマスキング法やPIIフィルタリングよりもプライバシーとユーティリティのトレードオフを改善している。 微調整実験では、SMは明らかにされた接頭辞から66.3%から2.3%までのプライベート値の近似抽出を減らし、スタイリスティックな符号化クイックを23.6%から1.3%に再現する。 また,不要なコンテンツを直接除去することで,データセットを衛生化するためのSMを評価した。 ここでSMは、有毒なデッドコードを検出するパープレキシティベースの防御であるDePAよりも優れており、特殊な検出器はより広範なクレデンシャルおよびPIIベンチマークでより優れた性能を発揮する。 11つの設定で、SMのダウンストリームの成功は、ディストリビューションにおける望ましくないコンテンツと有用なコンテンツの分離から予測可能であることが分かり、特にコードデータで有用である。 最終的に、SMは、不要な情報の学習を減らしながら、価値ある例を保存し、安価で適応可能な方法である。

関連論文リスト

• Extracting Training Data from Diffusion Language Models via Infilling [29.12248380721338]
  任意のバイナリマスクによってパラメータ化されたデータ抽出プロトコルであるemphinfilling extractを導入する。 エッジ条件マスクはプレフィックス条件マスクよりも最大3倍の冗長配列を抽出する。 特に,個人識別可能な情報が再現された訓練データにアクセス可能な現実的な敵が,DLMから再実行されたメールアドレスを抽出する際に,より高いリコールを達成できることを示す。
  論文  参考訳（メタデータ） (2026-05-22T19:46:08Z)
• Beyond Data Filtering: Knowledge Localization for Capability Removal in LLMs [12.955964659679672]
  グラディエント・ルーティング(Gradient Routing)は、対象とする知識をモデルパラメータの専用サブセットにローカライズすることで、後に取り除くことができる手法である。 SGTM(Selective GradienT Masking)と呼ばれるグラディエントルーティングの改良版について検討する。 バイリンガル合成データセットで訓練されたモデルから1つの言語の知識を取り除き、英語ウィキペディアで訓練されたモデルから生物学の知識を取り除き、SGTMの有効性を2つのアプリケーションで検証する。
  論文  参考訳（メタデータ） (2025-12-05T11:48:37Z)
• LLM Unlearning on Noisy Forget Sets: A Study of Incomplete, Rewritten, and Watermarked Data [69.5099112089508]
  大規模言語モデル(LLM)は、顕著な生成能力を示すが、機密データを記憶することで倫理的およびセキュリティ上の懸念を引き起こす。 この研究は、ノイズのある忘れセットと呼ばれる、摂動的または低忠実な忘れデータの下での未学習に関する最初の研究を提示する。 コアセマンティック信号が保存されている場合、未学習は摂動に対して驚くほど堅牢である。
  論文  参考訳（メタデータ） (2025-10-10T05:10:49Z)
• Scrub It Out! Erasing Sensitive Memorization in Code Language Models via Machine Unlearning [50.45435841411193]
  Code Language Models (CLMs)は、機密性のあるトレーニングデータの意図しない記憶を示し、具体的に指示された場合に機密情報の冗長な再現を可能にする。 CodeEraserは、コードの構造的整合性と機能的正当性を保ちながら、センシティブな記憶されたセグメントを選択的にコードに解放する高度な変種である。
  論文  参考訳（メタデータ） (2025-09-17T07:12:35Z)
• PrivacyScalpel: Enhancing LLM Privacy via Interpretable Feature Intervention with Sparse Autoencoders [8.483679748399037]
  大規模言語モデル(LLM)は自然言語処理において顕著な能力を示したが、個人識別情報(PII)を記憶・漏洩することによりプライバシーリスクを生じさせる。 差分プライバシーやニューロンレベルの介入のような既存の緩和戦略は、しばしばモデルユーティリティを劣化させたり、リークを効果的に防いだりしない。 性能を維持しながらPIIリークを識別・緩和するために解釈可能性技術を活用する,新たなプライバシ保護フレームワークであるPrivacyScalpelを紹介する。
  論文  参考訳（メタデータ） (2025-03-14T09:31:01Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Evaluating LLM-based Personal Information Extraction and Countermeasures [63.91918057570824]
  大規模言語モデル(LLM)に基づく個人情報抽出をベンチマークすることができる。 LLMは攻撃者によって誤用され、個人プロファイルから様々な個人情報を正確に抽出する。 プロンプトインジェクションは強力なLDMベースの攻撃に対して防御し、攻撃をより効果的でない従来の攻撃に還元する。
  論文  参考訳（メタデータ） (2024-08-14T04:49:30Z)
• Analyzing Leakage of Personally Identifiable Information in Language Models [13.467340359030855]
  言語モデル (LM) は, 文レベルのメンバシップ推論と再構築攻撃を通じて, トレーニングデータに関する情報を漏らすことが示されている。 スクレイビング技術は減少するが、PII漏れのリスクを防止しない。 ユーザーレベルのプライバシーを保証し、PIIの開示を防止するために設計された、差分プライバシーのようなアルゴリズムによる防御の程度は不明確である。
  論文  参考訳（メタデータ） (2023-02-01T16:04:48Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning [80.20302993614594]
  ラプラシア正規化の欠点を克服するための統計的解析を提供する。 望ましい振る舞いを示すスペクトルフィルタリング法を多数発表する。 我々は,本手法を大量のデータで利用できるようにするために,現実的な計算ガイドラインを提供する。
  論文  参考訳（メタデータ） (2020-09-09T14:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。