論文の概要: Class Machine Unlearning for Complex Data via Concepts Inference and Data Poisoning

• arxiv url: http://arxiv.org/abs/2405.15662v1
• Date: Fri, 24 May 2024 15:59:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 13:20:55.784003
• Title: Class Machine Unlearning for Complex Data via Concepts Inference and Data Poisoning
• Title（参考訳）: 概念推論とデータポジショニングによる複雑なデータに対するクラスマシンの学習
• Authors: Wenhan Chang, Tianqing Zhu, Heng Xu, Wenjian Liu, Wanlei Zhou,
• Abstract要約: 現在のAI時代では、ユーザーはプライバシー上の懸念から、AI企業にトレーニングデータセットからデータを削除するよう要求することができる。 機械学習は、モデルオーナーが要求されたトレーニングデータやクラスを削除することができ、モデルのパフォーマンスにほとんど影響を与えない新しい技術である。 本稿では、画像の特徴やテキストデータのトークンではなく、概念の定義を適用して、未学習クラスの意味情報を表現する。
• 参考スコア（独自算出の注目度）: 15.364125432212711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In current AI era, users may request AI companies to delete their data from the training dataset due to the privacy concerns. As a model owner, retraining a model will consume significant computational resources. Therefore, machine unlearning is a new emerged technology to allow model owner to delete requested training data or a class with little affecting on the model performance. However, for large-scaling complex data, such as image or text data, unlearning a class from a model leads to a inferior performance due to the difficulty to identify the link between classes and model. An inaccurate class deleting may lead to over or under unlearning. In this paper, to accurately defining the unlearning class of complex data, we apply the definition of Concept, rather than an image feature or a token of text data, to represent the semantic information of unlearning class. This new representation can cut the link between the model and the class, leading to a complete erasing of the impact of a class. To analyze the impact of the concept of complex data, we adopt a Post-hoc Concept Bottleneck Model, and Integrated Gradients to precisely identify concepts across different classes. Next, we take advantage of data poisoning with random and targeted labels to propose unlearning methods. We test our methods on both image classification models and large language models (LLMs). The results consistently show that the proposed methods can accurately erase targeted information from models and can largely maintain the performance of the models.
• Abstract（参考訳）: 現在のAI時代では、プライバシー上の懸念から、ユーザーはAI企業にトレーニングデータセットからデータを削除するよう要求することができる。 モデルオーナとして、モデルの再トレーニングは、重要な計算リソースを消費する。 したがって、機械学習は、モデル所有者が要求されたトレーニングデータやクラスをモデルのパフォーマンスにほとんど影響を与えずに削除できるようにする新しい技術である。 しかし、画像やテキストデータのような大規模で複雑なデータの場合、クラスをモデルから学習することは、クラスとモデルの間のリンクを特定するのが困難であるため、性能が劣る。 不正確なクラス削除は、過度または未学習に繋がる可能性がある。 本稿では、複雑なデータの未学習クラスを正確に定義するために、画像の特徴やテキストデータのトークンではなく概念の定義を適用し、未学習クラスの意味情報を表現する。 この新しい表現は、モデルとクラスの間のリンクを切断し、クラスの影響を完全に消去する。 複雑なデータの概念が与える影響を分析するために,ポストホックの概念ボトルネックモデルと統合グラディエントを採用し,異なるクラスにまたがる概念を正確に識別する。 次に、ランダムなラベルとターゲットラベルによるデータ中毒を利用して、未学習の手法を提案する。 本稿では,画像分類モデルと大規模言語モデル(LLM)の両モデルについて検討する。 その結果,提案手法はモデルからターゲット情報を正確に消去し,モデルの性能をほぼ維持できることがわかった。

関連論文リスト

• Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
  本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。 本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-11-13T08:56:35Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation [46.86767774669831]
  モデル説明の概念に基づく、より効率的で効率的なフェデレーション・アンラーニング・スキームを提案する。 我々は、未学習のデータに対して、すでに訓練済みのモデルの中で最も影響力のあるチャネルを選択します。
  論文  参考訳（メタデータ） (2024-06-18T11:43:20Z)
• An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
  学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Interpretable ML for Imbalanced Data [22.355966235617014]
  不均衡なデータは、クラス間の関係が歪んで不明瞭である可能性があるため、ディープ・ネットワークのブラックボックスの性質を合成する。 不均衡なデータの複雑性を調査する既存の手法は、バイナリ分類、浅い学習モデル、低次元データを対象としている。 本稿では,ディープラーニングモデルの利用者がクラスプロトタイプ,サブコンセプト,アウトリアインスタンスを識別し,視覚化し,理解するために利用できる一連の手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T11:50:31Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Certified Data Removal from Machine Learning Models [79.91502073022602]
  優れたデータスチュワードシップでは、データ所有者の要求でデータを削除する必要がある。 これにより、トレーニングデータに関する情報を暗黙的に格納するトレーニングされた機械学習モデルが、このような削除要求の影響を受けるべきかどうか、という疑問が提起される。 データを削除したモデルと、最初にデータを観測しなかったモデルとを区別できないという非常に強力な理論的保証である。
  論文  参考訳（メタデータ） (2019-11-08T03:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。