論文の概要: The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models
- arxiv url: http://arxiv.org/abs/2507.18725v1
- Date: Thu, 24 Jul 2025 18:13:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-28 16:16:48.717365
- Title: The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models
- Title（参考訳）: プルーニングで禁じられる権利:スパースモデルに基づくアンヴェイユ・マシン・アンラーニング
- Authors: Yang Xiao, Gen Li, Jie Ji, Ruimeng Ye, Xiaolong Ma, Bo Hui,
- Abstract要約: 機械学習は、訓練されたモデルから削除されたデータに関するメモリを効率的に排除し、忘れられる権利に対処することを目的としている。
本稿では,削除したデータがスパースモデルにおけるプルーンドトポロジに与える影響を実証的に確認する。
観察と忘れられる権利に動機付けられて、削除されたデータがモデルプルーニングに与える影響を排除するために、新しい用語「アンプルーニング(un-pruning)」を定義します。
- 参考スコア（独自算出の注目度）: 18.728123679646398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning aims to efficiently eliminate the memory about deleted data from trained models and address the right to be forgotten. Despite the success of existing unlearning algorithms, unlearning in sparse models has not yet been well studied. In this paper, we empirically find that the deleted data has an impact on the pruned topology in a sparse model. Motivated by the observation and the right to be forgotten, we define a new terminology ``un-pruning" to eliminate the impact of deleted data on model pruning. Then we propose an un-pruning algorithm to approximate the pruned topology driven by retained data. We remark that any existing unlearning algorithm can be integrated with the proposed un-pruning workflow and the error of un-pruning is upper-bounded in theory. Also, our un-pruning algorithm can be applied to both structured sparse models and unstructured sparse models. In the experiment, we further find that Membership Inference Attack (MIA) accuracy is unreliable for assessing whether a model has forgotten deleted data, as a small change in the amount of deleted data can produce arbitrary MIA results. Accordingly, we devise new performance metrics for sparse models to evaluate the success of un-pruning. Lastly, we conduct extensive experiments to verify the efficacy of un-pruning with various pruning methods and unlearning algorithms. Our code is released at https://anonymous.4open.science/r/UnlearningSparseModels-FBC5/.
- Abstract（参考訳）: 機械学習は、訓練されたモデルから削除されたデータに関するメモリを効率的に排除し、忘れられる権利に対処することを目的としている。
既存の未学習アルゴリズムの成功にもかかわらず、スパースモデルの未学習はまだ十分に研究されていない。
本稿では,削除したデータがスパースモデルにおけるプルーンドトポロジに与える影響を実証的に確認する。
観察と忘れられる権利に動機付けられて、削除されたデータがモデルプルーニングに与える影響を排除するために、新しい用語 ``un-pruning' を定義します。
次に,保持データによって駆動されるプルーニングトポロジを近似するアンプルーニングアルゴリズムを提案する。
既存のアンラーニングアルゴリズムは、提案したアンラーニングワークフローと統合可能であり、アンラーニングの誤りは理論上は上界である。
また、本アルゴリズムは、構造化スパースモデルと非構造化スパースモデルの両方に適用できる。
この実験では、削除されたデータの量の変化が少ないと任意のMIA結果が得られるため、モデルが削除されたデータを忘れたかどうかを評価するために、MIAの精度が信頼できないことが判明した。
そこで、スパースモデルのための新しいパフォーマンス指標を考案し、未刈り込みの成功を評価する。
最後に,様々なプルーニング手法とアンラーニングアルゴリズムを用いて,アンプルーニングの有効性を検証するための広範囲な実験を行った。
私たちのコードはhttps://anonymous.4open.science/r/UnlearningSparseModels-FBC5/でリリースされています。
関連論文リスト
- Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。
文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。
モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
論文 参考訳（メタデータ） (2025-06-13T18:08:54Z) - Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳（メタデータ） (2024-10-30T17:20:10Z) - An Information Theoretic Approach to Machine Unlearning [43.423418819707784]
AIやデータ規則に従うためには、トレーニングされた機械学習モデルからプライベートまたは著作権のある情報を忘れる必要性がますます高まっている。
この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。
モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
論文 参考訳（メタデータ） (2024-02-02T13:33:30Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳（メタデータ） (2022-10-05T09:17:27Z) - On the Necessity of Auditable Algorithmic Definitions for Machine
Unlearning [13.149070833843133]
機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。
まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。
そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
論文 参考訳（メタデータ） (2021-10-22T16:16:56Z) - Unrolling SGD: Understanding Factors Influencing Machine Unlearning [17.6607904333012]
機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。
まず、近似アンラーニングのアプローチとメトリクスを分類する。
検証誤差(L2差)、すなわち、ほとんど学習されていないモデルの重みと鼻再訓練されたモデルのL2差を同定する。
論文 参考訳（メタデータ） (2021-09-27T23:46:59Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Certifiable Machine Unlearning for Linear Models [1.484852576248587]
機械学習は、トレーニングされたトレーニングデータのサブセットが削除された後、機械学習(ML)モデルを更新するタスクである。
本稿では,線形モデルに対する3つの非学習手法について実験的に検討する。
論文 参考訳（メタデータ） (2021-06-29T05:05:58Z) - Variational Bayesian Unlearning [54.26984662139516]
本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。
消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。
VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
論文 参考訳（メタデータ） (2020-10-24T11:53:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。