論文の概要: Towards Natural Machine Unlearning

• arxiv url: http://arxiv.org/abs/2405.15495v1
• Date: Fri, 24 May 2024 12:23:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 14:22:48.313628
• Title: Towards Natural Machine Unlearning
• Title（参考訳）: 自然機械の学習に向けて
• Authors: Zhengbao He, Tao Li, Xinwen Cheng, Zhehao Huang, Xiaolin Huang,
• Abstract要約: マシン・アンラーニング(MU)は、特定のトレーニングデータ、すなわちデータを忘れることから学んだ情報を、事前訓練されたモデルから排除することを目的としている。 現在、既存のMUメソッドの主流は、誤ったラベルで忘れたデータを修正し、その後、モデルを微調整することである。 我々は,テキストナチュラル・マシン・アンラーニングを導入し,ラベルを変更する際に,残りのデータから正確な情報を忘れるサンプルに注入する。 これらの調整されたサンプルをラベルと組み合わせることで、モデルではインジェクションされた正しい情報を使用し、忘れるべき情報を自然に抑制する傾向にある。
• 参考スコア（独自算出の注目度）: 22.49633264030417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning (MU) aims to eliminate information that has been learned from specific training data, namely forgetting data, from a pre-trained model. Currently, the mainstream of existing MU methods involves modifying the forgetting data with incorrect labels and subsequently fine-tuning the model. While learning such incorrect information can indeed remove knowledge, the process is quite unnatural as the unlearning process undesirably reinforces the incorrect information and leads to over-forgetting. Towards more \textit{natural} machine unlearning, we inject correct information from the remaining data to the forgetting samples when changing their labels. Through pairing these adjusted samples with their labels, the model will tend to use the injected correct information and naturally suppress the information meant to be forgotten. Albeit straightforward, such a first step towards natural machine unlearning can significantly outperform current state-of-the-art approaches. In particular, our method substantially reduces the over-forgetting and leads to strong robustness to hyperparameters, making it a promising candidate for practical machine unlearning.
• Abstract（参考訳）: マシン・アンラーニング(MU)は、特定のトレーニングデータ、すなわちデータを忘れることから学んだ情報を、事前訓練されたモデルから排除することを目的としている。 現在、既存のMUメソッドの主流は、誤ったラベルで忘れたデータを修正し、その後、モデルを微調整することである。 このような誤った情報を学習することは、知識を確実に取り除くことができるが、このプロセスは、学習されていないプロセスが望ましくない情報を補強し、過剰な隠蔽につながるため、非常に不自然なものである。 ラベルを変更する際に、残りのデータから正確な情報を忘れるサンプルに注入する。 これらの調整されたサンプルをラベルと組み合わせることで、モデルではインジェクションされた正しい情報を使用し、忘れるべき情報を自然に抑制する傾向にある。 素直に言っても、このような自然な機械学習への第一歩は、現在の最先端のアプローチを大きく上回っている。 特に,提案手法は過剰な鍛造を著しく減らし,ハイパーパラメータに強い堅牢性をもたらすため,実用的な機械学習の候補として期待できる。

関連論文リスト

• Towards Aligned Data Removal via Twin Machine Unlearning [30.070660418732807]
  現代のプライバシー規制は、機械学習の進化を刺激している。 本稿では,2つの未学習問題を元の未学習問題に対応付けて定義する,TMU(Twin Machine Unlearning)アプローチを提案する。 提案手法は未学習モデルと金モデルとのアライメントを著しく向上させる。
  論文  参考訳（メタデータ） (2024-08-21T08:42:21Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Unlearning Information Bottleneck: Machine Unlearning of Systematic Patterns and Biases [6.936871609178494]
  本稿では,機械学習のプロセスを強化するための新しい情報理論フレームワークであるUnlearning Information Bottleneck(UIB)を紹介する。 変分上界を提案することにより,データ分布の変化を安価な計算コストと統合する動的事前計算により,モデルパラメータを再検討する。 さまざまなデータセット,モデル,未学習手法を対象とした実験により,本手法は学習後のモデルの性能を維持しながら,体系的なパターンやバイアスを効果的に除去することを示した。
  論文  参考訳（メタデータ） (2024-05-22T21:54:05Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Loss-Free Machine Unlearning [51.34904967046097]
  我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。 Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。 本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
  論文  参考訳（メタデータ） (2024-02-29T16:15:34Z)
• Corrective Machine Unlearning [22.342035149807923]
  我々は、未知の操作が学習モデルに与える影響を緩和する問題として、矯正機械学習を定式化する。 削除セットを使わずにスクラッチから再学習するなど、既存の未学習手法の多くは、有効な修正未学習のために、操作されたデータの大部分を識別する必要がある。 選択的シナプス減衰法(Selective Synaptic Dampening)は, 操作したサンプルのごく一部で, 有害な効果を学習することなく, 限られた成功を達成している。
  論文  参考訳（メタデータ） (2024-02-21T18:54:37Z)
• An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
  学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Random Relabeling for Efficient Machine Unlearning [8.871042314510788]
  個人が個人データと関連するデータプライバシ規則を撤回する権利は、機械学習に大きな課題をもたらす。 本研究では,逐次データ削除要求を効率的に処理するためのランダムな学習手法を提案する。 確率分布の類似性に基づく制約の少ない除去証明法も提案する。
  論文  参考訳（メタデータ） (2023-05-21T02:37:26Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。