論文の概要: RESTOR: Knowledge Recovery through Machine Unlearning

• arxiv url: http://arxiv.org/abs/2411.00204v1
• Date: Thu, 31 Oct 2024 20:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:48:19.665707
• Title: RESTOR: Knowledge Recovery through Machine Unlearning
• Title（参考訳）: RESTOR: 機械学習による知識回復
• Authors: Keivan Rezaei, Khyathi Chandu, Soheil Feizi, Yejin Choi, Faeze Brahman, Abhilasha Ravichander,
• Abstract要約: Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。 訓練されたモデルからこれらのデータポイントを「消去」することを目的とした、多くの機械学習手法が提案されている。 以下に示す次元に基づいて,機械学習のためのRESTORフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 71.75834077528305
• License:
• Abstract: Large language models trained on web-scale corpora can memorize undesirable datapoints such as incorrect facts, copyrighted content or sensitive data. Recently, many machine unlearning methods have been proposed that aim to 'erase' these datapoints from trained models -- that is, revert model behavior to be similar to a model that had never been trained on these datapoints. However, evaluating the success of unlearning algorithms remains challenging. In this work, we propose the RESTOR framework for machine unlearning based on the following dimensions: (1) a task setting that focuses on real-world factual knowledge, (2) a variety of corruption scenarios that emulate different kinds of datapoints that might need to be unlearned, and (3) evaluation metrics that emphasize not just forgetting undesirable knowledge, but also recovering the model's original state before encountering these datapoints, or restorative unlearning. RESTOR helps uncover several novel insights about popular unlearning algorithms, and the mechanisms through which they operate -- for instance, identifying that some algorithms merely emphasize forgetting the knowledge to be unlearned, and that localizing unlearning targets can enhance unlearning performance. Code/data is available at github.com/k1rezaei/restor.
• Abstract（参考訳）: Webスケールコーパスでトレーニングされた大規模な言語モデルは、誤った事実、著作権のあるコンテンツ、機密データなどの望ましくないデータポイントを記憶することができる。 最近、トレーニングされたモデルからこれらのデータポイントを「消去」することを目的とした、多くの機械学習手法が提案されている。 しかし、未学習アルゴリズムの成功を評価することは依然として困難である。 本研究では,(1)実世界の現実的な知識に焦点を当てたタスク設定,(2)未学習が必要なさまざまなデータポイントをエミュレートするさまざまな汚職シナリオ,(3)望ましくない知識を忘れるだけでなく,これらのデータポイントに遭遇する前にモデルの本来の状態を回復する評価指標を提案する。 RESTORは、一般的なアンラーニングアルゴリズムに関するいくつかの新しい洞察と、それらが運用するメカニズムを明らかにするのに役立つ。例えば、一部のアルゴリズムは、未学習の知識を忘れることだけを強調し、未学習のターゲットをローカライズすることで、アンラーニングのパフォーマンスが向上する。 Code/dataはgithub.com/k1rezaei/restorで利用できる。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Gone but Not Forgotten: Improved Benchmarks for Machine Unlearning [0.0]
  本稿では,機械学習アルゴリズムの代替評価手法について記述し,提案する。 我々は、さまざまなコンピュータビジョンデータセット上で、最先端の未学習アルゴリズムの一連の実験を通して、代替評価の有用性を示す。
  論文  参考訳（メタデータ） (2024-05-29T15:53:23Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• An Information Theoretic Approach to Machine Unlearning [43.423418819707784]
  AIやデータ規則に従うためには、トレーニングされた機械学習モデルからプライベートまたは著作権のある情報を忘れる必要性がますます高まっている。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Generative Adversarial Networks Unlearning [13.342749941357152]
  機械学習は、訓練された機械学習モデルからトレーニングデータを消去するソリューションとして登場した。 GAN(Generative Adversarial Networks)の研究は、ジェネレータと識別器を含む独自のアーキテクチャによって制限されている。 本稿では,GANモデルにおける項目学習とクラス学習の両方を対象としたケースドアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-19T02:21:21Z)
• On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning [13.149070833843133]
  機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。 まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。 そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
  論文  参考訳（メタデータ） (2021-10-22T16:16:56Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。