論文の概要: Prune the Leaky Neurons: Mitigating Private Data Leakage in Fine-Tuned LLMs via Joint-Embedding-Guided Pruning

• arxiv url: http://arxiv.org/abs/2610.22792v1
• Date: Fri, 16 Oct 2026 01:09:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.724434
• Title: Prune the Leaky Neurons: Mitigating Private Data Leakage in Fine-Tuned LLMs via Joint-Embedding-Guided Pruning
• Title（参考訳）: 漏洩ニューロンの特定:複合埋め込み型プルーニングによる微調整LDMにおけるプライベートデータ漏洩の軽減
• Abstract要約: 我々は,PIIフリーな視点を専門に訓練したモデルによって誘導されるポストホックニューロンのプルーニングフレームワークJEPA-Pruneを提案する。 クロスモデル表現プローブは、漏洩したレコードのプライベート表現と、このPIIフリー参照とのずれを定量化する。 実験の結果、ニューロンの1.6%しか刈り取らないと、PIIの推測精度は最大7.4倍、PIIの抽出リコールは最大13.9倍低下することがわかった。
• 参考スコア（独自算出の注目度）: 0.4720681957139135
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Fine-tuning large language models (LLMs) on proprietary records enables domain adaptation but introduces two challenges: (i) privacy leakage of memorized private data, such as personally identifiable information (PII), and (ii) balancing private data removal with utility preservation. Existing defenses, including data sanitization and differential privacy, often degrade performance, while privacy-neuron editing lacks a PII-free reference to distinguish identity-specific neurons from those supporting useful text. We propose JEPA-Prune, a post-hoc neuron pruning framework guided by a model trained exclusively on PII-free views. Alongside the fine-tuned private model, JEPA-Prune, trains a public model on surrogate and masked views of the same records using a joint-embedding predictive architecture (JEPA), capturing domain knowledge without identifiers. A cross-model representation probe quantifies deviations between private representations of leaked records and this PII-free reference. Integrated gradients and a scale-invariant specificity score then identify PII-responsive neurons, which are pruned without retraining. Experiments show that pruning just 1.6% of neurons reduces PII inference accuracy by up to 7.4x and PII extraction recall by up to 13.9x, while keeping unseen-text perplexity within 16% of that of the unpruned model for most LLMs. In contrast, privacy-neuron editing increases perplexity by at least 26x.
• Abstract（参考訳）: プロプライエタリレコード上の微調整大型言語モデル(LLM)はドメイン適応を可能にするが、2つの課題を提起する。 (i)個人識別情報(PII)等、記憶された個人データのプライバシー漏洩 二 個人データの削除と実用性維持のバランスをとること。 データサニタイズや差分プライバシーを含む既存の防御は、しばしば性能を低下させるが、プライバシ-ニューロンの編集では、個人固有のニューロンを有用なテキストをサポートするものと区別するためのPIIのない参照が欠如している。 我々は,PIIフリーなビューに特化して訓練されたモデルによって誘導されるポストホックニューロンのプルーニングフレームワークJEPA-Pruneを提案する。 微調整されたプライベートモデルであるJEPA-Pruneとともに、同一レコードのサロゲートとマスク付きビューを、JEPA(Joint-embedding predictive Architecture)を使用してトレーニングし、識別子なしでドメイン知識をキャプチャする。 クロスモデル表現プローブは、漏洩したレコードのプライベート表現と、このPIIフリー参照とのずれを定量化する。 統合的勾配とスケール不変特異性スコアは、PII応答性ニューロンを同定する。 実験の結果、ニューロンの1.6%のプルーニングは、PII推論の精度を最大7.4倍、PII抽出のリコールを最大13.9倍削減する一方で、ほとんどのLLMでは、未解析モデルの16%の範囲で、未知のテキストのパープレキシティを維持することが示されている。 対照的に、プライバシ・ニューロンの編集は、少なくとも26倍の複雑さを増す。

関連論文リスト

• The Privacy-Hallucination Tradeoff in Differentially Private Language Models [19.291584742880953]
  差分プライベート(DP)言語モデルにおけるプライバシ・ハロシン化のトレードオフについて検討する。 DPで事前訓練されたり、微調整されたりすると、非DPに比べて幻覚がより多く生じる傾向が示されている。
  論文  参考訳（メタデータ） (2026-08-31T23:39:03Z)
• Neural Gate: Mitigating Privacy Risks in LVLMs via Neuron-Level Gradient Gating [71.55435880263238]
  ニューラルゲート(Neural Gate)は,ニューロンレベルのモデル編集によってプライバシリスクを軽減する新しい手法である。 本手法は,プライバシ関連質問に対する拒否率を高めることにより,モデルのプライバシ保護を改善する。
  論文  参考訳（メタデータ） (2026-03-13T03:03:20Z)
• PrivacyScalpel: Enhancing LLM Privacy via Interpretable Feature Intervention with Sparse Autoencoders [8.483679748399037]
  大規模言語モデル(LLM)は自然言語処理において顕著な能力を示したが、個人識別情報(PII)を記憶・漏洩することによりプライバシーリスクを生じさせる。 差分プライバシーやニューロンレベルの介入のような既存の緩和戦略は、しばしばモデルユーティリティを劣化させたり、リークを効果的に防いだりしない。 性能を維持しながらPIIリークを識別・緩和するために解釈可能性技術を活用する,新たなプライバシ保護フレームワークであるPrivacyScalpelを紹介する。
  論文  参考訳（メタデータ） (2025-03-14T09:31:01Z)
• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• LDPKiT: Superimposing Remote Queries for Privacy-Preserving Local Model Training [9.605334766969763]
  我々は,非敵対的,プライバシ保護モデル抽出のためのフレームワーク LDPKiT を提案する。 LDPKiTは、およそ分布内サンプルを生成し、局所微分プライバシー(LDP)の下で効果的な知識伝達を可能にする Fashion-MNIST、SVHN、PathMNISTの実験では、LDPKiTはプライバシーを維持しながら実用性を一貫して改善している。
  論文  参考訳（メタデータ） (2024-05-25T21:53:58Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• DP2-Pub: Differentially Private High-Dimensional Data Publication with Invariant Post Randomization [58.155151571362914]
  本稿では,2つのフェーズで動作する差分プライベートな高次元データパブリッシング機構(DP2-Pub)を提案する。 属性をクラスタ内凝集度の高い低次元クラスタに分割し、クラスタ間の結合度を低くすることで、適切なプライバシ予算を得ることができる。 また、DP2-Pubメカニズムを、ローカルの差分プライバシーを満たす半正直なサーバでシナリオに拡張します。
  論文  参考訳（メタデータ） (2022-08-24T17:52:43Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• Federated Deep Learning with Bayesian Privacy [28.99404058773532]
  フェデレートラーニング(FL)は、ユーザ間でプライベートデータを共有せずにモデルを協調的に学習することで、データのプライバシを保護することを目的としている。 ホモモルフィック暗号化(HE)ベースの手法は、セキュアなプライバシ保護を提供するが、非常に高い計算と通信のオーバーヘッドに悩まされる。 差分プライバシ(DP)を用いたディープラーニングは,複雑な管理コストで実践的な学習アルゴリズムとして実装された。
  論文  参考訳（メタデータ） (2021-09-27T12:48:40Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。