論文の概要: Realistic Image-to-Image Machine Unlearning via Decoupling and Knowledge Retention
- arxiv url: http://arxiv.org/abs/2502.04260v1
- Date: Thu, 06 Feb 2025 17:46:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-07 14:31:50.838836
- Title: Realistic Image-to-Image Machine Unlearning via Decoupling and Knowledge Retention
- Title（参考訳）: 切り離しと知識保持によるリアルなイメージ・ツー・イメージ・マシンの学習
- Authors: Ayush K. Varshney, Vicenç Torra,
- Abstract要約: 機械学習モデルは、目に見えないデータに対してかなりよく機能する、と私たちは主張する。
本稿では,モデルパラメータを勾配上昇で分離するフレームワークを提案する。
また、勾配のあるモデル更新に対して$(epsilon, delta)$-unlearningの保証も提供しています。
- 参考スコア（独自算出の注目度）: 1.795561427808824
- License:
- Abstract: Machine Unlearning allows participants to remove their data from a trained machine learning model in order to preserve their privacy, and security. However, the machine unlearning literature for generative models is rather limited. The literature for image-to-image generative model (I2I model) considers minimizing the distance between Gaussian noise and the output of I2I model for forget samples as machine unlearning. However, we argue that the machine learning model performs fairly well on unseen data i.e., a retrained model will be able to catch generic patterns in the data and hence will not generate an output which is equivalent to Gaussian noise. In this paper, we consider that the model after unlearning should treat forget samples as out-of-distribution (OOD) data, i.e., the unlearned model should no longer recognize or encode the specific patterns found in the forget samples. To achieve this, we propose a framework which decouples the model parameters with gradient ascent, ensuring that forget samples are OOD for unlearned model with theoretical guarantee. We also provide $(\epsilon, \delta)$-unlearning guarantee for model updates with gradient ascent. The unlearned model is further fine-tuned on the remaining samples to maintain its performance. We also propose an attack model to ensure that the unlearned model has effectively removed the influence of forget samples. Extensive empirical evaluation on two large-scale datasets, ImageNet-1K and Places365 highlights the superiority of our approach. To show comparable performance with retrained model, we also show the comparison of a simple AutoEncoder on various baselines on CIFAR-10 dataset.
- Abstract（参考訳）: Machine Unlearningを使えば、参加者はトレーニングされた機械学習モデルからデータを削除して、プライバシとセキュリティを保護できる。
しかし、生成モデルのための機械未学習の文献は、かなり限られている。
画像画像生成モデル(I2Iモデル)の文献は、ガウスノイズとI2Iモデルの出力との距離を最小化し、サンプルを機械学習として忘れることを検討する。
しかし、機械学習モデルは、目に見えないデータ、すなわち、再学習されたモデルがデータ中の一般的なパターンをキャッチでき、従ってガウスノイズと同等の出力を生成できないことを論じる。
本稿では,学習後モデルでは,学習後のサンプルをアウト・オブ・ディストリビューション(OOD)データとして扱うべきだと考えている。
そこで本研究では,モデルパラメータを勾配上昇で分離するフレームワークを提案する。
また、勾配のあるモデル更新に対して$(\epsilon, \delta)$-unlearningの保証も提供しています。
未学習モデルは、その性能を維持するために残りのサンプルをさらに微調整する。
また,未学習モデルが忘れサンプルの影響を効果的に除去する攻撃モデルを提案する。
ImageNet-1KとPlaces365の2つの大規模データセットに対する大規模な実験的評価は、我々のアプローチの優位性を強調している。
また,CIFAR-10データセット上での各種ベースライン上での単純なAutoEncoderの比較を行った。
関連論文リスト
- Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」
次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-04T13:15:28Z) - Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳（メタデータ） (2024-10-30T17:20:10Z) - CaBaGe: Data-Free Model Extraction using ClAss BAlanced Generator Ensemble [4.029642441688877]
少数のクエリで高いモデル抽出精度を実現するために,データフリーモデル抽出手法であるCaBaGeを提案する。
評価の結果,CaBaGeは7つのデータセット上で既存の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-09-16T18:19:19Z) - An Information Theoretic Approach to Machine Unlearning [43.423418819707784]
AIやデータ規則に従うためには、トレーニングされた機械学習モデルからプライベートまたは著作権のある情報を忘れる必要性がますます高まっている。
この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。
モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
論文 参考訳（メタデータ） (2024-02-02T13:33:30Z) - Machine Unlearning for Image-to-Image Generative Models [18.952634119351465]
本稿では、画像から画像への生成モデルのための機械学習のための統一フレームワークを提供する。
本稿では,厳密な理論解析を基盤とした計算効率のよいアルゴリズムを提案する。
ImageNet-1KとPlaces-365の2つの大規模データセットに関する実証研究は、我々のアルゴリズムが保持サンプルの可用性に依存していないことを示している。
論文 参考訳（メタデータ） (2024-02-01T05:35:25Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳（メタデータ） (2023-11-02T01:51:43Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Revealing Secrets From Pre-trained Models [2.0249686991196123]
トランスファーラーニングは多くの新しいディープラーニングアルゴリズムで広く採用されている。
本研究では,事前学習モデルと微調整モデルが重み値に非常によく似ていることを示す。
ブラックボックスの被害者モデルで使用されるモデルアーキテクチャと事前訓練モデルを明らかにするモデル抽出攻撃を提案する。
論文 参考訳（メタデータ） (2022-07-19T20:19:03Z) - SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。
ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
論文 参考訳（メタデータ） (2021-07-08T14:17:24Z) - Probing Model Signal-Awareness via Prediction-Preserving Input
Minimization [67.62847721118142]
モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。
SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。
その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
論文 参考訳（メタデータ） (2020-11-25T20:05:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。