論文の概要: Efficient Machine Unlearning via Influence Approximation

• arxiv url: http://arxiv.org/abs/2507.23257v1
• Date: Thu, 31 Jul 2025 05:34:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:09.1183
• Title: Efficient Machine Unlearning via Influence Approximation
• Title（参考訳）: 影響近似による効率的な機械学習
• Authors: Jiawei Liu, Chenwang Wu, Defu Lian, Enhong Chen,
• Abstract要約: インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
• 参考スコア（独自算出の注目度）: 75.31015485113993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to growing privacy concerns, machine unlearning, which aims at enabling machine learning models to ``forget" specific training data, has received increasing attention. Among existing methods, influence-based unlearning has emerged as a prominent approach due to its ability to estimate the impact of individual training samples on model parameters without retraining. However, this approach suffers from prohibitive computational overhead arising from the necessity to compute the Hessian matrix and its inverse across all training samples and parameters, rendering it impractical for large-scale models and scenarios involving frequent data deletion requests. This highlights the difficulty of forgetting. Inspired by cognitive science, which suggests that memorizing is easier than forgetting, this paper establishes a theoretical link between memorizing (incremental learning) and forgetting (unlearning). This connection allows machine unlearning to be addressed from the perspective of incremental learning. Unlike the time-consuming Hessian computations in unlearning (forgetting), incremental learning (memorizing) typically relies on more efficient gradient optimization, which supports the aforementioned cognitive theory. Based on this connection, we introduce the Influence Approximation Unlearning (IAU) algorithm for efficient machine unlearning from the incremental perspective. Extensive empirical evaluations demonstrate that IAU achieves a superior balance among removal guarantee, unlearning efficiency, and comparable model utility, while outperforming state-of-the-art methods across diverse datasets and model architectures. Our code is available at https://github.com/Lolo1222/IAU.
• Abstract（参考訳）: プライバシーの懸念が高まっているため、機械学習モデルが特定のトレーニングデータを“忘れる”ことを目的とした機械学習が注目されている。 既存の手法の中で、個別のトレーニングサンプルがモデルパラメータに与える影響を再学習せずに推定する能力から、影響に基づくアンラーニングが顕著なアプローチとして現れている。 しかし、このアプローチは、Hessian行列とその逆行列を全てのトレーニングサンプルとパラメータで計算する必要から生じる計算オーバーヘッドに悩まされ、大規模なモデルや頻繁にデータ削除要求を伴うシナリオでは現実的ではない。 これは忘れることの難しさを浮き彫りにする。 記憶は忘れることよりも容易であることを示唆する認知科学に触発された本論文は,記憶(漸進的学習)と忘れ(未学習)の理論的関連性を確立する。 この接続により、インクリメンタルラーニングの観点からマシンアンラーニングに対処できる。 アンラーニング(フォーゲッティング)における時間を要するヘッセン計算とは異なり、インクリメンタルラーニング(記憶)は通常、上記の認知理論をサポートするより効率的な勾配最適化に依存している。 この接続に基づいて、インフルエンス近似アンラーニング(IAU)アルゴリズムを導入し、インクリメンタルな視点から効率的な機械学習を実現する。 大規模な経験的評価は、IAUが除去保証、未学習効率、および同等のモデルユーティリティのバランスを保ちながら、多様なデータセットやモデルアーキテクチャで最先端の手法より優れていることを示している。 私たちのコードはhttps://github.com/Lolo1222/IAU.comで公開されています。

関連論文リスト

• RESTOR: Knowledge Recovery in Machine Unlearning [71.75834077528305]
  Webスケールコーパスでトレーニングされた大規模な言語モデルは、プライベートまたはセンシティブな情報を含むことができる。 このようなデータポイントの効果を排除するために、いくつかの機械学習アルゴリズムが提案されている。 機械学習評価のためのRESTORフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:54:35Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
  最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。 本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。 理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
  論文  参考訳（メタデータ） (2023-04-11T02:12:02Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。