論文の概要: Efficient Knowledge Deletion from Trained Models through Layer-wise Partial Machine Unlearning

• arxiv url: http://arxiv.org/abs/2403.07611v1
• Date: Tue, 12 Mar 2024 12:49:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 21:36:43.099390
• Title: Efficient Knowledge Deletion from Trained Models through Layer-wise Partial Machine Unlearning
• Title（参考訳）: 階層型部分機械学習による学習モデルからの効率的な知識削除
• Authors: Vinay Chakravarthi Gogineni and Esmaeil S. Nadimi
• Abstract要約: 本稿では,機械学習アルゴリズムの新たなクラスを紹介する。 第1の方法は、アンネシアック・アンラーニングであり、アンネシアック・アンラーニングとレイヤーワイズ・プルーニングの統合である。 第2の方法は、階層的な部分更新をラベルフリップと最適化に基づくアンラーニングに同化する。
• 参考スコア（独自算出の注目度）: 2.3496568239538083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning has garnered significant attention due to its ability to selectively erase knowledge obtained from specific training data samples in an already trained machine learning model. This capability enables data holders to adhere strictly to data protection regulations. However, existing unlearning techniques face practical constraints, often causing performance degradation, demanding brief fine-tuning post unlearning, and requiring significant storage. In response, this paper introduces a novel class of machine unlearning algorithms. First method is partial amnesiac unlearning, integration of layer-wise pruning with amnesiac unlearning. In this method, updates made to the model during training are pruned and stored, subsequently used to forget specific data from trained model. The second method assimilates layer-wise partial-updates into label-flipping and optimization-based unlearning to mitigate the adverse effects of data deletion on model efficacy. Through a detailed experimental evaluation, we showcase the effectiveness of proposed unlearning methods. Experimental results highlight that the partial amnesiac unlearning not only preserves model efficacy but also eliminates the necessity for brief post fine-tuning, unlike conventional amnesiac unlearning. Moreover, employing layer-wise partial updates in label-flipping and optimization-based unlearning techniques demonstrates superiority in preserving model efficacy compared to their naive counterparts.
• Abstract（参考訳）: 機械学習は、訓練済みの機械学習モデルで、特定のトレーニングデータサンプルから得られた知識を選択的に消去する能力によって、大きな注目を集めている。 この機能により、データホルダはデータ保護規則に厳密に準拠することができる。 しかし、既存のアンラーニング技術は実践的な制約に直面しており、しばしばパフォーマンスの劣化を引き起こし、学習後の簡単な微調整を要求し、かなりのストレージを必要とする。 そこで本研究では,機械学習アルゴリズムの新しいクラスを提案する。 第1の方法は、部分的記憶喪失学習であり、階層的プルーニングと記憶喪失学習の統合である。 この方法では、トレーニング中にモデルに更新が実行され、その後、トレーニングされたモデルの特定のデータを忘れるために使用される。 第2の方法は、階層的な部分更新をラベルフリップと最適化に基づくアンラーニングに同化して、データ削除がモデルの有効性に与える影響を軽減する。 詳細な実験評価を通じて,提案手法の有効性を示す。 実験の結果, 部分記憶無学習はモデルの有効性を保ちつつ, 短時間の微調整の必要性をなくしていることが明らかとなった。 さらに,ラベルフリッピングと最適化に基づくアンラーニング技術において,階層的な部分的更新を用いることで,モデルの有効性の維持に優れることを示した。

関連論文リスト

• Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
  本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。 本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-11-13T08:56:35Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• A More Practical Approach to Machine Unlearning [0.0]
  機械学習は、訓練されたモデルから特定のデータポイントの影響を取り除く能力である。 GPT-2の埋め込み層は効果的なアンラーニングに不可欠である。 ファジィマッチング技術はモデルを新しい最適に移行し、反復的アンラーニングはより完全なモダリティを提供する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:06Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Federated Unlearning via Active Forgetting [24.060724751342047]
  インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。 我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
  論文  参考訳（メタデータ） (2023-07-07T03:07:26Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。