論文の概要: Data-Free Privacy-Preserving for LLMs via Model Inversion and Selective Unlearning

• arxiv url: http://arxiv.org/abs/2601.15595v1
• Date: Thu, 22 Jan 2026 02:43:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.472489
• Title: Data-Free Privacy-Preserving for LLMs via Model Inversion and Selective Unlearning
• Title（参考訳）: モデルインバージョンと選択的アンラーニングによるLCMデータの自由なプライバシ保護
• Authors: Xinjie Zhou, Zhihui Yang, Lechao Cheng, Sai Wu, Gang Chen,
• Abstract要約: 大規模言語モデル(LLM)は、強力な能力を示すが、トレーニングデータから機密性のある個人識別情報(PII)を記憶するリスクがある。 データ自由選択学習(DFSU: Data-free Selective Unlearning)は、LLMから機密性PIIを学習データを必要とせずに除去する新しいプライバシー保護フレームワークである。 提案手法は,まず擬似PIIを言語モデル逆変換により合成し,次にこれらの合成サンプルに対してトークンレベルのプライバシマスクを構築し,最後にトークンレベルの選択的アンラーニングを実行する。
• 参考スコア（独自算出の注目度）: 27.452191507918148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit powerful capabilities but risk memorizing sensitive personally identifiable information (PII) from their training data, posing significant privacy concerns. While machine unlearning techniques aim to remove such data, they predominantly depend on access to the training data. This requirement is often impractical, as training data in real-world deployments is commonly proprietary or inaccessible. To address this limitation, we propose Data-Free Selective Unlearning (DFSU), a novel privacy-preserving framework that removes sensitive PII from an LLM without requiring its training data. Our approach first synthesizes pseudo-PII through language model inversion, then constructs token-level privacy masks for these synthetic samples, and finally performs token-level selective unlearning via a contrastive mask loss within a low-rank adaptation (LoRA) subspace. Extensive experiments on the AI4Privacy PII-Masking dataset using Pythia models demonstrate that our method effectively removes target PII while maintaining model utility.
• Abstract（参考訳）: 大規模言語モデル(LLM)は強力な能力を示すが、トレーニングデータから機密性のある個人識別情報(PII)を記憶し、重大なプライバシー上の懸念を生じさせるリスクがある。 機械学習技術はそのようなデータを削除することを目的としているが、主にトレーニングデータへのアクセスに依存している。 現実のデプロイメントにおけるトレーニングデータは一般的にプロプライエタリであり、アクセスできないため、この要件はしばしば実用的ではない。 この制限に対処するために、トレーニングデータを必要とせずにLLMから機密性PIIを除去する新しいプライバシー保護フレームワークであるData-Free Selective Unlearning (DFSU)を提案する。 提案手法は,まず言語モデルインバージョンを用いて擬似PIIを合成し,次にこれらの合成サンプルに対してトークンレベルのプライバシマスクを構築し,最後にローランク適応(LoRA)サブ空間内で対照的なマスク損失を通じてトークンレベルの選択的アンラーニングを行う。 Pythiaモデルを用いたAI4Privacy PII-Maskingデータセットの大規模な実験により,本手法はモデルの有用性を維持しつつ,ターゲットPIIを効果的に除去することを示した。

関連論文リスト

• Rendering Data Unlearnable by Exploiting LLM Alignment Mechanisms [3.648393062009244]
  大規模言語モデル(LLM)は、大規模で異質なテキストコーパスでますます訓練されている。 これは、モデルトレーニング中にプロプライエタリまたは個人データの使用が許可されていないという深刻な懸念を引き起こす。 本研究では, LLM に読み書き不能なテキストを描画する新しいデータレベルディフェンスである Disclaimer Injection を提案する。
  論文  参考訳（メタデータ） (2026-01-06T20:34:15Z)
• Game-Theoretic Machine Unlearning: Mitigating Extra Privacy Leakage [12.737028324709609]
  最近の法律では、要求されたデータとその影響を訓練されたモデルから取り除くことが義務付けられている。 本研究では,非学習性能とプライバシ保護の競合関係をシミュレートするゲーム理論マシンアンラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-06T13:47:04Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Learning to Refuse: Towards Mitigating Privacy Risks in LLMs [6.685921135304385]
  大規模言語モデル(LLM)は、自然言語の理解と生成において顕著な能力を示す。 本研究は、LLMが完全再トレーニングを必要とせず、特定の個人のプライベートデータを保護できることの課題に対処する。 プライバシ保護のためのネーム・アウェア・アンラーニング・フレームワーク(NAUF)を導入する。
  論文  参考訳（メタデータ） (2024-07-14T03:05:53Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Privacy Side Channels in Machine Learning Systems [87.53240071195168]
  プライバシサイドチャネルは、システムレベルのコンポーネントを利用してプライベート情報を抽出する攻撃である。 例えば、差分プライベートなトレーニングを適用する前にトレーニングデータを重複させることで、保証可能なプライバシ保証を完全に無効にするサイドチャネルが生成されることを示す。 さらに,学習データセットに含まれる秘密鍵を抽出するために,言語モデルを学習データ再生からブロックするシステムを利用することを示す。
  論文  参考訳（メタデータ） (2023-09-11T16:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。