論文の概要: Shadow Unlearning: A Neuro-Semantic Approach to Fidelity-Preserving Faceless Forgetting in LLMs
- arxiv url: http://arxiv.org/abs/2601.04275v1
- Date: Wed, 07 Jan 2026 12:11:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-09 17:01:52.852772
- Title: Shadow Unlearning: A Neuro-Semantic Approach to Fidelity-Preserving Faceless Forgetting in LLMs
- Title(参考訳): シャドウ・アンラーニング : LLMにおける忠実度維持のためのニューロ・セマンティックアプローチ
- Authors: Dinesh Srivasthav P, Ashok Urlana, Rahul Mishra, Bala Mallikarjunarao Garlapati, Ponnurangam Kumaraguru,
- Abstract要約: PIIを露出することなく、匿名の忘れデータ上で機械学習を行う、近似アンラーニングの新たなパラダイムであるシャドウアンラーニングを提案する。
さらに,シャドー・アンラーニングを実現するために,新たなプライバシ保護フレームワークであるニューロ・セマンティック・プロジェクタ・アンラーニング(NSPU)を提案する。
実験の結果,NSPUは非学習性能が優れ,モデルの有用性が保たれ,ユーザのプライバシが向上することがわかった。
- 参考スコア(独自算出の注目度): 10.135445130232265
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Machine unlearning aims to selectively remove the influence of specific training samples to satisfy privacy regulations such as the GDPR's 'Right to be Forgotten'. However, many existing methods require access to the data being removed, exposing it to membership inference attacks and potential misuse of Personally Identifiable Information (PII). We address this critical challenge by proposing Shadow Unlearning, a novel paradigm of approximate unlearning, that performs machine unlearning on anonymized forget data without exposing PII. We further propose a novel privacy-preserving framework, Neuro-Semantic Projector Unlearning (NSPU) to achieve Shadow unlearning. To evaluate our method, we compile Multi-domain Fictitious Unlearning (MuFU) forget set across five diverse domains and introduce an evaluation stack to quantify the trade-off between knowledge retention and unlearning effectiveness. Experimental results on various LLMs show that NSPU achieves superior unlearning performance, preserves model utility, and enhances user privacy. Additionally, the proposed approach is at least 10 times more computationally efficient than standard unlearning approaches. Our findings foster a new direction for privacy-aware machine unlearning that balances data protection and model fidelity.
- Abstract(参考訳): 機械学習の目的は、GDPRの'Right to be Forgotten'のようなプライバシー規制を満たすために、特定のトレーニングサンプルの影響を選択的に除去することである。
しかし、既存の多くの手法では、削除されるデータにアクセスし、メンバーシップ推論攻撃やPII(Personally Identible Information)の潜在的な誤用に公開する必要がある。
PIIを露出することなく、匿名の忘れデータ上で機械学習を行う新しいパラダイムであるShadow Unlearningを提案することで、この重要な課題に対処する。
さらに,シャドー・アンラーニングを実現するために,新たなプライバシ保護フレームワークであるニューロ・セマンティック・プロジェクタ・アンラーニング(NSPU)を提案する。
提案手法を評価するために,5つの異なる領域にまたがって設定したMuFU(Multi-domain Fictitious Unlearning)をコンパイルし,知識保持と学習効率のトレードオフを定量化する評価スタックを提案する。
実験結果から,NSPUは非学習性能が優れ,モデルの有用性が保たれ,ユーザのプライバシが向上することがわかった。
さらに、提案手法は、標準のアンラーニング手法の少なくとも10倍の計算効率がある。
我々の発見は、データ保護とモデルの忠実さのバランスをとるプライバシーを意識した機械学習の新しい方向性を育む。
関連論文リスト
- Forgetting-MarI: LLM Unlearning via Marginal Information Regularization [6.979586479353831]
既存の未学習のメソッドは、特定のデータを“忘れる”場合に必要以上の情報を取り除くことで、モデルのパフォーマンスを劣化させることが多い。
我々は,LLMアンラーニングフレームワークであるForgetting-MarIを紹介した。
限界情報をペナル化することにより、トレーニングされたモデルにおける未学習データセットの残差の影響を明示的に上限付けし、証明不能な検出を可能にする。
論文 参考訳(メタデータ) (2025-11-14T22:48:39Z) - Unlearning That Lasts: Utility-Preserving, Robust, and Almost Irreversible Forgetting in LLMs [31.768387661474904]
大規模言語モデル(LLM)におけるアンラーニングでは、事前訓練されたモデルから特定の情報を正確に除去する。
これは、事前訓練中に取得した個人データや有害な知識を削除することで、LLMの安全性を確保するために重要である。
JensUnを導入し、Jensen-Shannon Divergenceをセットを忘れたり、保持したりするためのトレーニングの目的として活用する。
大規模な実験では、JensUnは競合するメソッドよりも忘れやすいトレードオフを実現し、再学習に強いレジリエンスを示しています。
論文 参考訳(メタデータ) (2025-09-02T20:38:53Z) - Differential Privacy in Machine Learning: From Symbolic AI to LLMs [49.1574468325115]
差別化プライバシは、プライバシーリスクを軽減するための正式なフレームワークを提供する。
単一のデータポイントの包含や除外がアルゴリズムの出力を著しく変更しないことを保証する。
論文 参考訳(メタデータ) (2025-06-13T11:30:35Z) - Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [92.99416966226724]
我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。
情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。
FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
論文 参考訳(メタデータ) (2024-11-05T23:26:10Z) - Zero-shot Class Unlearning via Layer-wise Relevance Analysis and Neuronal Path Perturbation [10.901970907686245]
機械学習は、大規模な再トレーニングを必要とせずに、トレーニングされたモデルから特定のデータの影響を取り除くテクニックである。
本稿では,階層的関連分析と神経経路摂動を用いた機械学習の新しい手法を提案する。
本手法は,高関連ニューロンを同定・摂動することで,機械学習性能とモデルの有用性のバランスをとる。
論文 参考訳(メタデータ) (2024-10-31T07:37:04Z) - A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。
LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
論文 参考訳(メタデータ) (2024-10-10T16:56:05Z) - Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。
知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。
イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
論文 参考訳(メタデータ) (2024-07-25T07:09:35Z) - Silver Linings in the Shadows: Harnessing Membership Inference for Machine Unlearning [7.557226714828334]
ニューラルネットワークから特定のデータサンプルの影響を除去する新しい学習機構を提案する。
この目的を達成するために、我々は、ターゲットモデルの重みやアクティベーション値からプライバシーに敏感な情報を排除するための、新しい損失関数を構築した。
本研究の結果は,未学習の有効性とレイテンシ,および主課題の忠実度の観点から,我々のアプローチの優れた性能を示すものである。
論文 参考訳(メタデータ) (2024-07-01T00:20:26Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳(メタデータ) (2024-06-13T14:41:00Z) - Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
大規模言語モデル(LLM)の領域における機械学習の研究
このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
論文 参考訳(メタデータ) (2024-02-13T20:51:58Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-31T03:35:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。