論文の概要: Unlearning with Fisher Masking

• arxiv url: http://arxiv.org/abs/2310.05331v1
• Date: Mon, 9 Oct 2023 01:24:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 08:31:24.424881
• Title: Unlearning with Fisher Masking
• Title（参考訳）: フィッシャーマスキングによるアンラーニング
• Authors: Yufang Liu, Changzhi Sun, Yuanbin Wu, Aimin Zhou
• Abstract要約: Machine Unlearningは、ユーザやモデル開発者、管理者からの要求に応じて、学習後にトレーニングデータを無効にすることを目的としている。 従来のほとんどのメソッドは直接微調整に基づいており、データを完全に削除したり、残余データに完全なパフォーマンスを保持することもできない。 我々は,フィッシャー情報に基づくアンラーニングに適した新しいマスキング戦略を提案する。
• 参考スコア（独自算出の注目度）: 20.763692349949245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning aims to revoke some training data after learning in response to requests from users, model developers, and administrators. Most previous methods are based on direct fine-tuning, which may neither remove data completely nor retain full performances on the remain data. In this work, we find that, by first masking some important parameters before fine-tuning, the performances of unlearning could be significantly improved. We propose a new masking strategy tailored to unlearning based on Fisher information. Experiments on various datasets and network structures show the effectiveness of the method: without any fine-tuning, the proposed Fisher masking could unlearn almost completely while maintaining most of the performance on the remain data. It also exhibits stronger stability compared to other unlearning baselines
• Abstract（参考訳）: Machine Unlearningは、ユーザやモデル開発者、管理者からの要求に応じて、学習後にトレーニングデータを無効にすることを目的としている。 従来のほとんどのメソッドは直接微調整に基づいており、データを完全に削除したり、残余データに完全なパフォーマンスを保持することもできない。 本研究では,まずいくつかの重要なパラメータを微調整する前にマスキングすることで,アンラーニングのパフォーマンスが大幅に向上することを見出した。 我々は,フィッシャー情報に基づくアンラーニングに適した新しいマスキング戦略を提案する。 様々なデータセットとネットワーク構造に関する実験は、この方法の有効性を示している: 微調整がなければ、提案されているフィッシャーマスキングは、残余データのパフォーマンスの大部分を維持しながら、ほぼ完全に解き放つことができる。 他のアンラーニングベースラインよりも強い安定性を示す。

関連論文リスト

• Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
  本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。 本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-11-13T08:56:35Z)
• FisherMask: Enhancing Neural Network Labeling Efficiency in Image Classification Using Fisher Information [2.762397703396293]
  FisherMaskはFisher情報に基づくアクティブラーニング(AL)アプローチで、主要なネットワークパラメータをマスキングすることで識別する。 実験の結果,FisherMaskは多様なデータセット上で最先端の手法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-08T18:10:46Z)
• Corrective Machine Unlearning [22.342035149807923]
  我々は、未知の操作が学習モデルに与える影響を緩和する問題として、矯正機械学習を定式化する。 削除セットを使わずにスクラッチから再学習するなど、既存の未学習手法の多くは、有効な修正未学習のために、操作されたデータの大部分を識別する必要がある。 選択的シナプス減衰法(Selective Synaptic Dampening)は, 操作したサンプルのごく一部で, 有害な効果を学習することなく, 限られた成功を達成している。
  論文  参考訳（メタデータ） (2024-02-21T18:54:37Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Continual Contrastive Self-supervised Learning for Image Classification [10.070132585425938]
  自己超越学習法は,大規模にラベル付けされたデータを持たない視覚表現に極めて有意な可能性を示す。 自己教師付き学習の視覚的表現を改善するには、より大きく、より多様なデータが必要である。 本稿では,リハーサル手法を提案することによって,連続的なコントラスト型自己教師型学習を実現するための最初の試みを行う。
  論文  参考訳（メタデータ） (2021-07-05T03:53:42Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。