論文の概要: Label-Agnostic Forgetting: A Supervision-Free Unlearning in Deep Models
- arxiv url: http://arxiv.org/abs/2404.00506v1
- Date: Sun, 31 Mar 2024 00:29:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 03:20:34.716795
- Title: Label-Agnostic Forgetting: A Supervision-Free Unlearning in Deep Models
- Title（参考訳）: Label-Agnostic Forgetting: 深層モデルにおける教師なしのアンラーニング
- Authors: Shaofei Shen, Chenhao Zhang, Yawen Zhao, Alina Bialkowski, Weitong Chen, Miao Xu,
- Abstract要約: 機械学習の目的は、よく訓練されたモデルで残りのデータセットのデータを保存しながら、忘れられたデータから派生した情報を削除することである。
本研究では,アンラーニングプロセス中にラベルを必要とせずに,教師なしのアンラーニングアプローチを提案する。
- 参考スコア（独自算出の注目度）: 10.140596908665419
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning aims to remove information derived from forgotten data while preserving that of the remaining dataset in a well-trained model. With the increasing emphasis on data privacy, several approaches to machine unlearning have emerged. However, these methods typically rely on complete supervision throughout the unlearning process. Unfortunately, obtaining such supervision, whether for the forgetting or remaining data, can be impractical due to the substantial cost associated with annotating real-world datasets. This challenge prompts us to propose a supervision-free unlearning approach that operates without the need for labels during the unlearning process. Specifically, we introduce a variational approach to approximate the distribution of representations for the remaining data. Leveraging this approximation, we adapt the original model to eliminate information from the forgotten data at the representation level. To further address the issue of lacking supervision information, which hinders alignment with ground truth, we introduce a contrastive loss to facilitate the matching of representations between the remaining data and those of the original model, thus preserving predictive performance. Experimental results across various unlearning tasks demonstrate the effectiveness of our proposed method, Label-Agnostic Forgetting (LAF) without using any labels, which achieves comparable performance to state-of-the-art methods that rely on full supervision information. Furthermore, our approach excels in semi-supervised scenarios, leveraging limited supervision information to outperform fully supervised baselines. This work not only showcases the viability of supervision-free unlearning in deep models but also opens up a new possibility for future research in unlearning at the representation level.
- Abstract（参考訳）: 機械学習の目的は、よく訓練されたモデルで残りのデータセットのデータを保存しながら、忘れられたデータから派生した情報を削除することである。
データプライバシに重点が置かれているため、機械学習に対するいくつかのアプローチが生まれている。
しかし、これらの手法は一般に、学習プロセス全体を通して完全な監督に依存している。
残念ながら、忘れたデータであれ、残るデータであれ、そのような監視を取得することは、実際のデータセットの注釈付けに伴うかなりのコストのために、現実的ではない。
この課題は、アンラーニングプロセス中にラベルを必要とせずに機能する、教師なしのアンラーニングアプローチを提案することを促す。
具体的には、残りのデータに対する表現の分布を近似する変動的アプローチを提案する。
この近似を利用して、元のモデルを適応させ、表現レベルで忘れられたデータから情報を排除します。
地上の真実との整合を阻害する監視情報の欠如にさらに対処するため,残りのデータと元のモデルとの表現の整合を容易にし,予測性能を維持するために,コントラスト的損失を導入する。
各種未学習課題を対象とした実験の結果,ラベルを使わずにLAF(Label-Agnostic Forgetting)の有効性が示された。
さらに,本手法は半教師付きシナリオに優れ,限られた監督情報を活用し,完全に教師付きベースラインを上回ります。
この研究は、深層モデルにおける教師なしのアンラーニングの生存可能性を示すだけでなく、表現レベルでのアンラーニング研究の新たな可能性を開く。
関連論文リスト
- TCGU: Data-centric Graph Unlearning based on Transferable Condensation [36.670771080732486]
Transferable Condensation Graph Unlearning (TCGU)は、ゼロガンスグラフアンラーニングのためのデータ中心のソリューションである。
我々は,TGUが既存のGU手法よりもモデルユーティリティ,未学習効率,未学習効率において優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2024-10-09T02:14:40Z) - Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。
本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。
本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
論文 参考訳（メタデータ） (2024-03-24T17:33:22Z) - The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳（メタデータ） (2024-03-23T09:26:15Z) - An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。
この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。
モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
論文 参考訳（メタデータ） (2024-02-02T13:33:30Z) - Weakly Supervised Video Individual CountingWeakly Supervised Video
Individual Counting [126.75545291243142]
Video Individual Countingは、単一のビデオ内のユニークな個人数を予測することを目的としている。
トラジェクトリラベルが提供されない弱い教師付きVICタスクを導入する。
そこで我々は,ネットワークを駆動し,インフロー,アウトフロー,残りを識別するために,エンドツーエンドのトレーニング可能なソフトコントラスト損失を考案した。
論文 参考訳（メタデータ） (2023-12-10T16:12:13Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-10-11T08:24:50Z) - Vertical Machine Unlearning: Selectively Removing Sensitive Information
From Latent Feature Space [21.8933559159369]
遅延特徴空間から機密情報のみを除去することを目的とした縦型アンラーニングモードについて検討する。
我々はこの非学習について直観的かつ形式的な定義を導入し、既存の水平的非学習との関係を示す。
厳密な理論的解析により上界の近似を推定する。
論文 参考訳（メタデータ） (2022-02-27T05:25:15Z) - Self-Supervised Noisy Label Learning for Source-Free Unsupervised Domain
Adaptation [87.60688582088194]
新規な自己監督雑音ラベル学習法を提案する。
本手法は最新の結果を容易に達成でき、他の手法を非常に大きなマージンで超えることができる。
論文 参考訳（メタデータ） (2021-02-23T10:51:45Z) - Robust Disentanglement of a Few Factors at a Time [5.156484100374058]
変分オートエンコーダ(VAE)の整合性向上のための人口ベーストレーニング(PBT)を導入する。
PBT-VAEトレーニングでは、教師なしのモデルスコアとしてUnsupervised Disentanglement Ranking (UDR)を使用し、この方法でトレーニングされたモデルが、生成因子のサブセットのみを一貫して切り離す傾向を示す。
複数のデータセットとメトリクスをまたいで、最先端の教師なしのアンハンジメント性能とロバストネスを著しく改善したことを示す。
論文 参考訳（メタデータ） (2020-10-26T12:34:23Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-22T14:49:33Z) - Leveraging Semi-Supervised Learning for Fairness using Neural Networks [49.604038072384995]
機械学習に基づく意思決定システムの公平性に対する懸念が高まっている。
本稿では,ラベルのないデータから得られるニューラルネットワークを用いた半教師付きアルゴリズムを提案する。
提案したSSFairと呼ばれるモデルは、ラベルのないデータの情報を活用して、トレーニングデータのバイアスを軽減する。
論文 参考訳（メタデータ） (2019-12-31T09:11:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。