論文の概要: PrivUn: Unveiling Latent Ripple Effects and Shallow Forgetting in Privacy Unlearning
- arxiv url: http://arxiv.org/abs/2604.22076v1
- Date: Thu, 23 Apr 2026 21:01:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-27 15:36:26.269664
- Title: PrivUn: Unveiling Latent Ripple Effects and Shallow Forgetting in Privacy Unlearning
- Title（参考訳）: PrivUn:プライバシ・アンラーニングで潜伏するリップル効果と弱体化を発見
- Authors: Xiaoyi Chen, Haoyuan Wang, Siyuan Tang, Sijia Liu, Liya Su, XiaoFeng Wang, Haixu Tang,
- Abstract要約: 大規模言語モデル(LLM)は、トレーニング中に個人情報を記憶し、重大なプライバシー上の懸念を引き起こす。
機械学習は有望なソリューションとして登場したが、プライバシ攻撃に対する真の有効性はまだ不明だ。
- 参考スコア（独自算出の注目度）: 21.354585495856345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) often memorize private information during training, raising serious privacy concerns. While machine unlearning has emerged as a promising solution, its true effectiveness against privacy attacks remains unclear. To address this, we propose PrivUn, a new evaluation framework that systematically assesses unlearning robustness through three-tier attack scenarios: direct retrieval, in-context learning recovery, and fine-tuning restoration; combined with quantitative analysis using forgetting scores, association metrics, and forgetting depth assessment. Our study exposes significant weaknesses in current unlearning methods, revealing two key findings: 1) unlearning exhibits gradient-driven ripple effects: unlike traditional forgetting which follows semantic relations (e.g., knowledge graphs), privacy unlearning propagates across latent gradient-based associations; and 2) most methods suffer from shallow forgetting, failing to remove private information distributed across multiple deep model layers. To validate these insights, we explore two strategies: association-aware core-set selection that leverages gradient similarity, and multi-layer deep intervention through representational constraints. These strategies represent a paradigm shift from shallow forgetting to deep forgetting.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、トレーニング中に個人情報を記憶し、重大なプライバシー上の懸念を引き起こす。
機械学習は有望なソリューションとして登場したが、プライバシ攻撃に対する真の有効性はまだ不明だ。
そこで本研究では, 直接検索, コンテキスト内学習回復, 微調整復元という3段階の攻撃シナリオを通じて, 未学習の堅牢性を体系的に評価する新しい評価フレームワークであるPrivUnを提案する。
我々の研究は、現在のアンラーニング手法の重大な弱点を明らかにし、2つの重要な発見を明らかにした。
1)非学習は勾配駆動の波及効果を示す:意味的関係(例えば知識グラフ)に従う伝統的な忘れ方とは異なり、プライバシーの非学習は潜伏した勾配に基づく関係を伝播する。
2) 多くのメソッドは、浅い忘れ込みに悩まされ、複数のディープモデル層に分散したプライベート情報を削除できなかった。
これらの知見を検証するために、勾配類似性を利用したアソシエイト対応コアセット選択と、表現的制約による多層深い介入の2つの戦略を検討する。
これらの戦略は、浅い忘れ物から深い忘れ物へのパラダイムシフトを表している。
関連論文リスト
- Erase or Hide? Suppressing Spurious Unlearning Neurons for Robust Unlearning [31.829376135133554]
Webスケールのデータに基づいてトレーニングされた大規模な言語モデルは、プライベートまたはセンシティブな知識を記憶し、重大なプライバシーリスクを生じさせる。
いくつかの未学習の手法は、その後の訓練中に「再学習」に弱いままであり、忘れられた知識のかなりの部分が再浮上する。
Ssiuuは、帰属指導による正規化を取り入れた新しい学習方法であり、刺激的なネガティブな影響を防ぎ、ターゲット知識を忠実に除去する。
論文 参考訳（メタデータ） (2025-09-26T12:27:23Z) - FEDLAD: Federated Evaluation of Deep Leakage Attacks and Defenses [50.921333548391345]
フェデレーテッド・ラーニング(Federated Learning)は、分散型機械学習パラダイムをプライバシ保護するものだ。
近年の研究では、Deep Leakageと呼ばれる勾配技術によって、民間の真実データを復元できることが判明している。
本稿では、Deep Leakage攻撃と防御を評価するための総合的なベンチマークであるFEDLAD Framework(Federated Evaluation of Deep Leakage Attacks and Defenses)を紹介する。
論文 参考訳（メタデータ） (2024-11-05T11:42:26Z) - Exploring Federated Unlearning: Review, Comparison, and Insights [101.64910079905566]
フェデレーション・アンラーニングは、フェデレーション・システムで訓練されたモデルからデータを選択的に除去することを可能にする。
本稿では,既存のフェデレーション・アンラーニング手法について検討し,アルゴリズムの効率,モデル精度への影響,プライバシ保護の有効性について検討する。
フェデレートされたアンラーニング手法を評価するための統一ベンチマークであるOpenFederatedUnlearningフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-30T01:34:33Z) - Protecting Split Learning by Potential Energy Loss [70.81375125791979]
我々は、分割学習の前方埋め込みからのプライバシー漏洩に焦点を当てる。
我々は、前方埋め込みをより「複雑化」させるためのエネルギー損失の可能性を提案する。
論文 参考訳（メタデータ） (2022-10-18T06:21:11Z) - On the Privacy Effect of Data Enhancement via the Lens of Memorization [20.63044895680223]
我々は,記憶化という新たな視点からプライバシを調査することを提案する。
記憶のレンズを通して、以前デプロイされたMIAは、より高いプライバシーリスクを持つサンプルを特定する可能性が低いため、誤解を招く結果をもたらすことがわかった。
一般化ギャップとプライバシリークは, これまでの結果に比べて相関が低いことを示す。
論文 参考訳（メタデータ） (2022-08-17T13:02:17Z) - Semantics-Preserved Distortion for Personal Privacy Protection in Information Management [65.08939490413037]
本稿では,意味的整合性を維持しつつテキストを歪ませる言語学的アプローチを提案する。
本稿では, 意味保存歪みの枠組みとして, 生成的アプローチと置換的アプローチの2つを提示する。
また、特定の医療情報管理シナリオにおけるプライバシ保護についても検討し、機密データの記憶を効果的に制限していることを示す。
論文 参考訳（メタデータ） (2022-01-04T04:01:05Z) - Where Did You Learn That From? Surprising Effectiveness of Membership
Inference Attacks Against Temporally Correlated Data in Deep Reinforcement
Learning [114.9857000195174]
深い強化学習を産業的に広く採用する上での大きな課題は、プライバシー侵害の潜在的な脆弱性である。
本稿では, 深層強化学習アルゴリズムの脆弱性を検証し, メンバーシップ推論攻撃に適応する対戦型攻撃フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-08T23:44:57Z) - Gradient Masking and the Underestimated Robustness Threats of
Differential Privacy in Deep Learning [0.0]
本稿では,ディファレンシャルプライバシ(DP)によるトレーニングが,幅広い敵対攻撃に対するモデル脆弱性に与える影響を実験的に評価する。
結果から、プライベートモデルは非プライベートモデルよりも堅牢ではなく、非プライベートモデルとプライベートモデルよりもDPモデル間のトランスファーが優れていることが示唆された。
論文 参考訳（メタデータ） (2021-05-17T16:10:54Z) - Privacy-Preserving Federated Learning on Partitioned Attributes [6.661716208346423]
フェデレーション学習は、ローカルデータやモデルを公開することなく、協調的なトレーニングを促進する。
ローカルモデルをチューニングし、プライバシー保護された中間表現をリリースする逆学習ベースの手順を紹介します。
精度低下を緩和するために,前方後方分割アルゴリズムに基づく防御法を提案する。
論文 参考訳（メタデータ） (2021-04-29T14:49:14Z) - SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。
協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
論文 参考訳（メタデータ） (2020-06-16T19:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。