論文の概要: Efficient Unlearning through Maximizing Relearning Convergence Delay
- arxiv url: http://arxiv.org/abs/2604.09391v1
- Date: Fri, 10 Apr 2026 15:06:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-13 17:57:53.920841
- Title: Efficient Unlearning through Maximizing Relearning Convergence Delay
- Title(参考訳): 再学習収束遅延の最大化による効率的な未学習
- Authors: Khoa Tran, Simon S. Woo,
- Abstract要約: 重み空間と予測空間の両方の変化をキャプチャする「再学習収束遅延」と呼ばれる新しい指標を導入する。
このメトリクスは、未学習のモデルから回収された忘れられたデータのリスクを評価するために使用することができる。
本研究では,その性能を劣化させることにより,忘れる集合の影響を除去する影響排除フレームワークを提案する。
- 参考スコア(独自算出の注目度): 27.079338164502634
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Machine unlearning poses challenges in removing mislabeled, contaminated, or problematic data from a pretrained model. Current unlearning approaches and evaluation metrics are solely focused on model predictions, which limits insight into the model's true underlying data characteristics. To address this issue, we introduce a new metric called relearning convergence delay, which captures both changes in weight space and prediction space, providing a more comprehensive assessment of the model's understanding of the forgotten dataset. This metric can be used to assess the risk of forgotten data being recovered from the unlearned model. Based on this, we propose the Influence Eliminating Unlearning framework, which removes the influence of the forgetting set by degrading its performance and incorporates weight decay and injecting noise into the model's weights, while maintaining accuracy on the retaining set. Extensive experiments show that our method outperforms existing metrics and our proposed relearning convergence delay metric, approaching ideal unlearning performance. We provide theoretical guarantees, including exponential convergence and upper bounds, as well as empirical evidence of strong retention and resistance to relearning in both classification and generative unlearning tasks.
- Abstract(参考訳): 機械学習は、事前訓練されたモデルから不正なラベル付き、汚染された、または問題のあるデータを除去する際の課題となる。
現在の未学習のアプローチと評価メトリクスは、モデルの真の基盤となるデータ特性に関する洞察を制限するモデル予測にのみ焦点をあてています。
この問題に対処するために,重み空間と予測空間の両方の変化を捉え,モデルが忘れたデータセットに対する理解をより包括的に評価する,再学習収束遅延(relearning convergence delay)と呼ばれる新しい指標を導入する。
このメトリクスは、未学習のモデルから回収された忘れられたデータのリスクを評価するために使用することができる。
そこで本研究では,その性能を低下させ,重み付けの精度を維持しつつ,モデルの重み付けに重み付けやノイズ注入を組み込むことにより,忘れ込みセットの影響を除去する,影響排除型アンラーニングフレームワークを提案する。
大規模な実験により,提案手法は既存の指標よりも優れており,提案手法は未学習の理想的性能に近づいた再学習収束遅延尺度より優れていることが示された。
我々は、指数収束と上限を含む理論的な保証と、強い保持の実証的証拠と、分類および生成的未学習のタスクにおける再学習に対する抵抗を提供する。
関連論文リスト
- From Physics to Machine Learning and Back: Part II - Learning and Observational Bias in PHM [52.64097278841485]
物理インフォームドモデリングとデータストラテジーによる学習と観察バイアスの導入は、モデルを物理的に一貫した信頼性のある予測へと導くことができるかを検討する。
メタラーニングや少数ショットラーニングなどの高速適応手法をドメイン一般化手法とともに検討する。
論文 参考訳(メタデータ) (2025-09-25T14:15:43Z) - Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。
本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。
本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
論文 参考訳(メタデータ) (2025-07-31T05:34:27Z) - UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。
これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。
本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
論文 参考訳(メタデータ) (2025-02-20T22:51:10Z) - Redefining Machine Unlearning: A Conformal Prediction-Motivated Approach [11.609354498110358]
機械学習は、訓練されたモデルから特定のデータの影響を取り除こうとする。
本稿では,UA と MIA にまたがる誤分類データには,予測セットに基礎的真理ラベルがまだ含まれていないことを明らかにする。
本稿では,記憶品質をより確実に評価する共形予測に着想を得た2つの新しい指標を提案する。
論文 参考訳(メタデータ) (2025-01-31T18:58:43Z) - What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳(メタデータ) (2024-11-12T09:52:40Z) - Goldfish: An Efficient Federated Unlearning Framework [3.956103498302838]
Goldfishは機械学習アルゴリズムのための新しいフレームワークだ。
基本モデル、損失関数、最適化、拡張の4つのモジュールで構成されている。
既存の機械学習アルゴリズムの妥当性の低い課題に対処するため,新しい損失関数を提案する。
論文 参考訳(メタデータ) (2024-04-04T03:29:41Z) - Machine unlearning through fine-grained model parameters perturbation [26.653596302257057]
そこで本研究では,不エクササイズマシンの非学習戦略であるTop-KパラメータとRandom-kパラメータの微粒化を提案する。
また,機械学習の有効性を評価する上での課題にも取り組む。
論文 参考訳(メタデータ) (2024-01-09T07:14:45Z) - Harnessing the Power of Explanations for Incremental Training: A
LIME-Based Approach [6.244905619201076]
この研究では、モデル説明がフィードフォワードトレーニングにフィードバックされ、モデルをより一般化するのに役立つ。
このフレームワークは、シーケンシャルなテストセットのパフォーマンスを維持するために、Elastic Weight Consolidation (EWC)によるカスタム重み付き損失を取り入れている。
提案したカスタムトレーニング手順は、インクリメンタルラーニングセットアップのすべてのフェーズにおいて、0.5%から1.5%までの精度を一貫して向上させる。
論文 参考訳(メタデータ) (2022-11-02T18:16:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。