論文の概要: An Information Theoretic Approach to Machine Unlearning

• arxiv url: http://arxiv.org/abs/2402.01401v3
• Date: Wed, 5 Jun 2024 13:04:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 03:25:10.411490
• Title: An Information Theoretic Approach to Machine Unlearning
• Title（参考訳）: 機械学習における情報理論のアプローチ
• Authors: Jack Foster, Kyle Fogarty, Stefan Schoepf, Cengiz Öztireli, Alexandra Brintrup,
• Abstract要約: 学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
• 参考スコア（独自算出の注目度）: 45.600917449314444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To comply with AI and data regulations, the need to forget private or copyrighted information from trained machine learning models is increasingly important. The key challenge in unlearning is forgetting the necessary data in a timely manner, while preserving model performance. In this work, we address the zero-shot unlearning scenario, whereby an unlearning algorithm must be able to remove data given only a trained model and the data to be forgotten. We explore unlearning from an information theoretic perspective, connecting the influence of a sample to the information gain a model receives by observing it. From this, we derive a simple but principled zero-shot unlearning method based on the geometry of the model. Our approach takes the form of minimising the gradient of a learned function with respect to a small neighbourhood around a target forget point. This induces a smoothing effect, causing forgetting by moving the boundary of the classifier. We explore the intuition behind why this approach can jointly unlearn forget samples while preserving general model performance through a series of low-dimensional experiments. We perform extensive empirical evaluation of our method over a range of contemporary benchmarks, verifying that our method is competitive with state-of-the-art performance under the strict constraints of zero-shot unlearning.
• Abstract（参考訳）: AIやデータ規則に従うためには、トレーニングされた機械学習モデルからプライベートまたは著作権のある情報を忘れる必要性がますます高まっている。 アンラーニングにおける重要な課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 我々は、サンプルの影響をモデルが受ける情報と結びつけ、情報理論の観点から未学習を探索する。 このことから,モデルの幾何学に基づく単純だが原則化されたゼロショットアンラーニング手法を導出する。 提案手法は,学習関数の勾配を,対象の忘れ点付近の小さな近傍に対して最小化する手法である。 これによりスムーズな効果が生じ、分類器の境界を移動させることで忘れてしまう。 一連の低次元実験を通して一般的なモデル性能を保ちながら、なぜこのアプローチがサンプルを共同で解き放つことができるのか、その背景にある直観を考察する。 提案手法は, ゼロショットアンラーニングの厳密な制約の下で, 最先端の性能と競合することが検証された。

関連論文リスト

• Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
  本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。 本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-11-13T08:56:35Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
  マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。 本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。 本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
  論文  参考訳（メタデータ） (2024-03-24T17:33:22Z)
• Loss-Free Machine Unlearning [51.34904967046097]
  我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。 Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。 本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
  論文  参考訳（メタデータ） (2024-02-29T16:15:34Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning [13.149070833843133]
  機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。 まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。 そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
  論文  参考訳（メタデータ） (2021-10-22T16:16:56Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。