論文の概要: Don't Forget Too Much: Towards Machine Unlearning on Feature Level
- arxiv url: http://arxiv.org/abs/2406.10951v1
- Date: Sun, 16 Jun 2024 14:08:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 19:52:39.160302
- Title: Don't Forget Too Much: Towards Machine Unlearning on Feature Level
- Title(参考訳): あまり忘れるな - 機能レベルでの機械学習を目指して
- Authors: Heng Xu, Tianqing Zhu, Wanlei Zhou, Wei Zhao,
- Abstract要約: 我々は特徴未学習と呼ばれる洗練された粒度未学習スキームを提案する。
まず、機能に関するアノテーション情報が与えられるかどうかに基づいて、2つのシナリオを探索する。
本稿では,特徴に対する影響を自動的に除去する逆学習手法を提案する。
- 参考スコア(独自算出の注目度): 16.32116782528703
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning enables pre-trained models to remove the effect of certain portions of training data. Previous machine unlearning schemes have mainly focused on unlearning a cluster of instances or all instances belonging to a specific class. These types of unlearning might have a significant impact on the model utility; and they may be inadequate for situations where we only need to unlearn features within instances, rather than the whole instances. Due to the different granularity, current unlearning methods can hardly achieve feature-level unlearning. To address the challenges of utility and granularity, we propose a refined granularity unlearning scheme referred to as ``feature unlearning". We first explore two distinct scenarios based on whether the annotation information about the features is given: feature unlearning with known annotations and feature unlearning without annotations. Regarding unlearning with known annotations, we propose an adversarial learning approach to automatically remove effects about features. For unlearning without annotations, we initially enable the output of one model's layer to identify different pattern features using model interpretability techniques. We proceed to filter features from instances based on these outputs with identifying ability. So that we can remove the feature impact based on filtered instances and the fine-tuning process. The effectiveness of our proposed approach is demonstrated through experiments involving diverse models on various datasets in different scenarios.
- Abstract(参考訳): 機械学習により、事前訓練されたモデルは、トレーニングデータの特定の部分の影響を取り除くことができる。
以前の機械学習スキームは、主に特定のクラスに属するインスタンスやすべてのインスタンスのクラスタをアンラーニングすることに焦点を当てていた。
これらのタイプのアンラーニングは、モデルユーティリティに大きな影響を与える可能性がある。インスタンス全体ではなく、インスタンス内でのみ機能を引き出す必要がある状況では不十分である。
粒度の異なるため、現在のアンラーニング手法では特徴レベルのアンラーニングをほとんど達成できない。
実用性と粒度の課題に対処するため,我々は「機能的未学習」と呼ばれる洗練された粒度未学習スキームを提案する。
まず、その機能に関するアノテーション情報が与えられるかどうかに基づいて、2つの異なるシナリオを探索する。
既知のアノテーションを用いたアンラーニングでは,特徴に対する影響を自動的に除去する逆学習手法を提案する。
アノテーションなしでの学習では、まず1つのモデルのレイヤーの出力がモデル解釈可能性技術を使って異なるパターンの特徴を識別できるようにします。
私たちはこれらのアウトプットに基づいてインスタンスから機能をフィルタリングし、識別します。
そのため、フィルタリングされたインスタンスと微調整プロセスに基づいて、機能の影響を取り除くことができます。
提案手法の有効性は,様々なシナリオにおける多様なデータセット上での多様なモデルを含む実験によって実証される。
関連論文リスト
- RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。
訓練されたモデルからこれらのデータポイントを「消去」することを目的とした、多くの機械学習手法が提案されている。
以下に示す次元に基づいて,機械学習のためのRESTORフレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-31T20:54:35Z) - Towards Efficient Target-Level Machine Unlearning Based on Essential Graph [18.35868679190816]
機械学習の既存の研究は、主に1つのクラスからインスタンスのクラスタやすべてのインスタンスを忘れる未学習の要求に焦点を当てている。
モデルから部分的対象を除去することに焦点を当てた、より効率的で効率的な非学習手法を提案する。
様々なデータセット上で異なるトレーニングモデルを用いた実験は、提案手法の有効性を示す。
論文 参考訳(メタデータ) (2024-06-16T14:17:13Z) - Contrastive Unlearning: A Contrastive Approach to Machine Unlearning [30.38966646250252]
本研究では,表現学習の概念を有効活用する,対照的な非学習フレームワークを提案する。
その結果,非学習の非学習効果と効率性は,最先端のアルゴリズムと比較して低い結果が得られた。
論文 参考訳(メタデータ) (2024-01-19T02:16:30Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。
既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。
本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-07T06:50:27Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳(メタデータ) (2021-10-31T16:15:09Z) - On the Necessity of Auditable Algorithmic Definitions for Machine
Unlearning [13.149070833843133]
機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。
まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。
そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
論文 参考訳(メタデータ) (2021-10-22T16:16:56Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Conditional Contrastive Learning: Removing Undesirable Information in
Self-Supervised Representations [108.29288034509305]
我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。
提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
論文 参考訳(メタデータ) (2021-06-05T10:51:26Z) - Inverse Feature Learning: Feature learning based on Representation
Learning of Error [12.777440204911022]
本稿では,新しい教師付き特徴学習手法としての逆特徴学習を提案し,誤り表現アプローチに基づく分類のための高レベル特徴セットを学習する。
提案手法は,いくつかの一般的なデータセットに対する最先端の分類手法と比較して,性能が著しく向上する。
論文 参考訳(メタデータ) (2020-03-08T00:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。