論文の概要: Few-Shot Unlearning by Model Inversion
- arxiv url: http://arxiv.org/abs/2205.15567v1
- Date: Tue, 31 May 2022 06:57:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 14:53:31.195414
- Title: Few-Shot Unlearning by Model Inversion
- Title(参考訳): モデルインバージョンによるマイトショットアンラーニング
- Authors: Youngsik Yoon, Jinhwan Nam, Hyojeong Yun, Dongwoo Kim, Jungseul Ok
- Abstract要約: 機械学習の課題は、対象のデータセットを消去することであり、不要な振る舞いを引き起こす。
モデルからトレーニングデータを抽出し,対象サンプルと類似したサンプルをフィルタリングし,再学習する新しいモデルインバージョン手法を考案した。
対象データのサブセットのみを用いた手法は,対象データの完全な表示で最先端の手法より優れていることを示す。
- 参考スコア(独自算出の注目度): 3.486204232859346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of machine unlearning to erase a target dataset,
which causes an unwanted behavior, from the trained model when the training
dataset is not given. Previous works have assumed that the target dataset
indicates all the training data imposing the unwanted behavior. However, it is
often infeasible to obtain such a complete indication. We hence address a
practical scenario of unlearning provided a few samples of target data,
so-called few-shot unlearning. To this end, we devise a straightforward
framework, including a new model inversion technique to retrieve the training
data from the model, followed by filtering out samples similar to the target
samples and then relearning. We demonstrate that our method using only a subset
of target data can outperform the state-of-the-art methods with a full
indication of target data.
- Abstract(参考訳): トレーニングデータセットが与えられていない場合、トレーニングモデルから不要な振る舞いを引き起こすターゲットデータセットを消去する機械学習の問題を考える。
以前の研究では、ターゲットデータセットが望ましくない行動を構成するすべてのトレーニングデータを示していると仮定している。
しかし、そのような完全な指示を得ることは、しばしば不可能である。
そこで我々は,対象データのサンプルとして,いわゆる数発のアンラーニングを行った。
この目的のために、モデルからトレーニングデータを取得するための新しいモデル反転手法を含む、簡単なフレームワークを考案し、続いてターゲットサンプルに似たサンプルをフィルタリングし、再学習する。
対象データのサブセットのみを用いた手法は,対象データの完全な表示で最先端の手法より優れていることを示す。
関連論文リスト
- Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Data-Free Model Extraction Attacks in the Context of Object Detection [0.6719751155411076]
多くの機械学習モデルは、モデル抽出攻撃に対して脆弱である。
本研究では,オブジェクト検出における境界ボックス座標の予測のための回帰問題に拡張した逆ブラックボックス攻撃を提案する。
提案したモデル抽出法は,妥当なクエリを用いて有意な結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-08-09T06:23:54Z) - Building Manufacturing Deep Learning Models with Minimal and Imbalanced
Training Data Using Domain Adaptation and Data Augmentation [15.333573151694576]
本稿では,目標学習課題に対するラベル付き学習データ不足の問題に対処する新しいドメイン適応(DA)手法を提案する。
我々のアプローチは、ソースデータセットとターゲット学習タスクで利用可能なデータセットが同一または異なる機能空間を持つシナリオで機能する。
我々は、ウェハ欠陥予測のための画像データを用いて、組み合わせたアプローチを評価する。
論文 参考訳(メタデータ) (2023-05-31T21:45:34Z) - Learning to Unlearn: Instance-wise Unlearning for Pre-trained
Classifiers [71.70205894168039]
そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。
本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
論文 参考訳(メタデータ) (2023-01-27T07:53:50Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2022-09-30T02:25:12Z) - Membership Inference Attacks by Exploiting Loss Trajectory [19.900473800648243]
そこで本研究では,対象モデルのトレーニングプロセス全体から,メンバシップ情報を利用する新たな攻撃手法であるシステムを提案する。
我々の攻撃は、既存の方法よりも0.1%低い偽陽性率で、少なくとも6$times$高い真陽性率を達成する。
論文 参考訳(メタデータ) (2022-08-31T16:02:26Z) - Bridging Non Co-occurrence with Unlabeled In-the-wild Data for
Incremental Object Detection [56.22467011292147]
物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。
有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。
そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
論文 参考訳(メタデータ) (2021-10-28T10:57:25Z) - Self Training with Ensemble of Teacher Models [8.257085583227695]
堅牢なディープラーニングモデルのトレーニングには,大量のラベル付きデータが必要である。
このようなラベル付きデータの大規模なリポジトリがなければ、ラベルなしのデータも同様に利用することができる。
準スーパービジョン学習は、そのようなラベルのないデータを分類モデルの訓練に活用することを目的としている。
論文 参考訳(メタデータ) (2021-07-17T09:44:09Z) - Variational Bayesian Unlearning [54.26984662139516]
本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。
消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。
VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
論文 参考訳(メタデータ) (2020-10-24T11:53:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。