論文の概要: Sharpness-Aware Parameter Selection for Machine Unlearning

• arxiv url: http://arxiv.org/abs/2504.06398v1
• Date: Tue, 08 Apr 2025 19:41:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:05:49.792748
• Title: Sharpness-Aware Parameter Selection for Machine Unlearning
• Title（参考訳）: 機械学習のためのシャープネスを考慮したパラメータ選択
• Authors: Saber Malekmohammadi, Hong kyu Lee, Li Xiong,
• Abstract要約: クレジットカード番号やパスワードなど、機密性の高い個人情報が誤って機械学習モデルのトレーニングに組み込まれており、その後削除する必要がある場合が多い。 この問題に対処するために、文献に様々な機械学習技術が提案されている。 提案手法のほとんどは、トレーニングされたモデルから個々のデータサンプルを除去するものである。 これらのタスクの既存の方法は、モデルパラメータの集合全体またはモデルの最後の層のみを更新することで、未学習タスクを行うが、未学習ターゲット機能に最も貢献するモデルパラメータのサブセットが存在することを示す。
• 参考スコア（独自算出の注目度）: 6.397490580631141
• License:
• Abstract: It often happens that some sensitive personal information, such as credit card numbers or passwords, are mistakenly incorporated in the training of machine learning models and need to be removed afterwards. The removal of such information from a trained model is a complex task that needs to partially reverse the training process. There have been various machine unlearning techniques proposed in the literature to address this problem. Most of the proposed methods revolve around removing individual data samples from a trained model. Another less explored direction is when features/labels of a group of data samples need to be reverted. While the existing methods for these tasks do the unlearning task by updating the whole set of model parameters or only the last layer of the model, we show that there are a subset of model parameters that have the largest contribution in the unlearning target features. More precisely, the model parameters with the largest corresponding diagonal value in the Hessian matrix (computed at the learned model parameter) have the most contribution in the unlearning task. By selecting these parameters and updating them during the unlearning stage, we can have the most progress in unlearning. We provide theoretical justifications for the proposed strategy by connecting it to sharpness-aware minimization and robust unlearning. We empirically show the effectiveness of the proposed strategy in improving the efficacy of unlearning with a low computational cost.
• Abstract（参考訳）: クレジットカード番号やパスワードなど、機密性の高い個人情報が誤って機械学習モデルのトレーニングに組み込まれており、その後削除する必要がある場合が多い。 トレーニングされたモデルからそのような情報を除去することは、トレーニングプロセスの一部を部分的に反転させる必要がある複雑なタスクである。 この問題に対処するために、文献に様々な機械学習技術が提案されている。 提案手法のほとんどは、トレーニングされたモデルから個々のデータサンプルを除去するものである。 もう1つの未調査の方向は、データサンプルのグループの機能やラベルを反転させる必要がある場合である。 これらのタスクの既存の方法は、モデルパラメータの集合全体またはモデルの最後の層のみを更新することで、未学習タスクを行うが、未学習ターゲット機能に最も貢献するモデルパラメータのサブセットが存在することを示す。 より正確には、ヘッセン行列の最大の対角値を持つモデルパラメータ(学習されたモデルパラメータで計算される)は、未学習タスクに最も寄与する。 これらのパラメータを選択して、アンラーニングの段階で更新することで、アンラーニングの最も進歩が得られます。 提案手法を,シャープネスを意識した最小化とロバストなアンラーニングに結びつけることによって理論的に正当化する。 提案手法の有効性を,計算コストの低いアンラーニングの有効性を実証的に示す。

関連論文リスト

• Provable unlearning in topic modeling and downstream tasks [36.571324268874264]
  アンラーニングの保証は、しばしば教師付き学習設定に限られる。 我々は、事前学習と微調整のパラダイムにおいて、初となるアンラーニングの理論的保証を提供する。 我々は、特定のタスクに微調整されたモデルから事前学習データを容易に解放できることを示し、ベースモデルを変更することなく、このデータを解放できることを示した。
  論文  参考訳（メタデータ） (2024-11-19T16:04:31Z)
• Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
  本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。 本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-11-13T08:56:35Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Towards Efficient Target-Level Machine Unlearning Based on Essential Graph [18.35868679190816]
  機械学習の既存の研究は、主に1つのクラスからインスタンスのクラスタやすべてのインスタンスを忘れる未学習の要求に焦点を当てている。 モデルから部分的対象を除去することに焦点を当てた、より効率的で効率的な非学習手法を提案する。 様々なデータセット上で異なるトレーニングモデルを用いた実験は、提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-06-16T14:17:13Z)
• An Information Theoretic Approach to Machine Unlearning [43.423418819707784]
  AIやデータ規則に従うためには、トレーニングされた機械学習モデルからプライベートまたは著作権のある情報を忘れる必要性がますます高まっている。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
  機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。 固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。 我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-28T09:53:05Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
  サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。 ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
  論文  参考訳（メタデータ） (2021-07-08T14:17:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。