論文の概要: WIN-U: Woodbury-Informed Newton-Unlearning as a retain-free Machine Unlearning Framework

• arxiv url: http://arxiv.org/abs/2604.13438v1
• Date: Wed, 15 Apr 2026 03:32:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.368403
• Title: WIN-U: Woodbury-Informed Newton-Unlearning as a retain-free Machine Unlearning Framework
• Title（参考訳）: WIN-U: フリーマシン・アンラーニングフレームワークとしてのウッドベリーインフォームドニュートン・アンラーニング
• Authors: Xingjian Zhao, Mohammad Mohammadi Amiri, Malik Magdon-Ismail,
• Abstract要約: 本稿では,WIN-Uを提案する。WIN-Uは,データ全体についてトレーニングしたモデルに対して,2次情報のみを必要とする無学習フレームワークである。 WIN-Uは、未学習の有効性と実用性の観点から、SOTA性能を達成できることを示す。 重要なことは、WIN-Uは保持されたデータにアクセスする必要はない。
• 参考スコア（独自算出の注目度）: 6.8132221309860945
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Privacy concerns in LLMs have led to the rapidly growing need to enforce a data's "right to be forgotten". Machine unlearning addresses precisely this task, namely the removal of the influence of some specific data, i.e., the forget set, from a trained model. The gold standard for unlearning is to produce the model that would have been learned on only the rest of the training data, i.e., the retain set. Most existing unlearning methods rely on direct access to the retained data, which may not be practical due to privacy or cost constraints. We propose WIN-U, a retained-data free unlearning framework that requires only second order information for the originally trained model on the full data. The unlearning is performed using a single Newton-style step. Using the Woodbury matrix identity and a generalized Gauss-Newton approximation for the forget set curvature, the WIN-U update recovers the closed-form linear solution and serves as a local second-order approximation to the gold-standard retraining optimum. Extensive experiments on various vision and language benchmarks demonstrate that WIN-U achieves SOTA performance in terms of unlearning efficacy and utility preservation, while being more robust against relearning attacks compared to existing methods. Importantly, WIN-U does not require access to the retained data.
• Abstract（参考訳）: LLMにおけるプライバシの懸念は、データの"忘れられる権利"を強制する必要性が急速に高まっていることにつながっている。 マシン・アンラーニング(英: Machine unlearning)とは、特定のデータ、すなわち、訓練されたモデルから特定のデータの影響を除去するタスクである。 アンラーニングのゴールドスタンダードは、残りのトレーニングデータ、すなわち保持セットでのみ学習されるであろうモデルを作成することである。 既存の未学習の手法の多くは、保持されたデータへの直接アクセスに依存しているが、プライバシやコストの制約のために実用的ではないかもしれない。 本稿では,WIN-Uを提案する。WIN-Uは,データ全体についてトレーニングしたモデルに対して,2次情報のみを必要とする無学習フレームワークである。 アンラーニングは1つのニュートンスタイルのステップで実行される。 ウッドベリー行列の恒等式と一般化されたガウス・ニュートン近似を用いて、WIN-U 更新は閉形式線形解を復元し、金標準リトレーニング最適化の局所的な二階近似として機能する。 様々なビジョンと言語ベンチマークに関する大規模な実験により、WIN-Uは未学習の有効性とユーティリティの保存の観点からSOTAのパフォーマンスを達成し、既存の手法と比較して再学習攻撃に対してより堅牢であることが示された。 重要なことは、WIN-Uは保持されたデータにアクセスする必要はない。

関連論文リスト

• Forgetting-MarI: LLM Unlearning via Marginal Information Regularization [6.979586479353831]
  既存の未学習のメソッドは、特定のデータを“忘れる”場合に必要以上の情報を取り除くことで、モデルのパフォーマンスを劣化させることが多い。 我々は,LLMアンラーニングフレームワークであるForgetting-MarIを紹介した。 限界情報をペナル化することにより、トレーニングされたモデルにおける未学習データセットの残差の影響を明示的に上限付けし、証明不能な検出を可能にする。
  論文  参考訳（メタデータ） (2025-11-14T22:48:39Z)
• DP2Unlearning: An Efficient and Guaranteed Unlearning Framework for LLMs [2.849894463232375]
  大規模言語モデル(LLM)は、最近言語処理タスクに革命をもたらしたが、倫理的および法的問題ももたらした。 DP2Unlearningは、保存するデータのスクラッチから再トレーニングするよりもはるかに低コストで、正式な忘れる保証を提供する新しいLLMアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-04-18T16:22:20Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Zero-Shot Machine Unlearning [6.884272840652062]
  現代のプライバシー規制は、市民に製品、サービス、企業によって忘れられる権利を与える。 トレーニングプロセスやトレーニングサンプルに関連するデータは、未学習の目的のためにアクセスできない。 本稿では, (a) 誤り最小化雑音と (b) ゲート付き知識伝達に基づくゼロショットマシンアンラーニングのための2つの新しい解を提案する。
  論文  参考訳（メタデータ） (2022-01-14T19:16:09Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。