論文の概要: Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers

• arxiv url: http://arxiv.org/abs/2301.11578v1
• Date: Fri, 27 Jan 2023 07:53:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 16:14:23.577438
• Title: Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers
• Title（参考訳）: unlearnへの学習: 事前学習された分類器のインスタンス別アンラーニング
• Authors: Sungmin Cha, Sungjun Cho, Dasol Hwang, Honglak Lee, Taesup Moon, and Moontae Lee
• Abstract要約: そこで本研究では,ケースワイズ方式で情報を削除する,あるいは修正する頑健な手法を提案する。 提案手法は,単一タスクと連続的な未学習シナリオの両方において,与えられたインスタンスをアンラーニングしながら,残データに関する知識を効果的に保存することを示す。
• 参考スコア（独自算出の注目度）: 60.59421791950023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since the recent advent of regulations for data protection (e.g., the General Data Protection Regulation), there has been increasing demand in deleting information learned from sensitive data in pre-trained models without retraining from scratch. The inherent vulnerability of neural networks towards adversarial attacks and unfairness also calls for a robust method to remove or correct information in an instance-wise fashion, while retaining the predictive performance across remaining data. To this end, we define instance-wise unlearning, of which the goal is to delete information on a set of instances from a pre-trained model, by either misclassifying each instance away from its original prediction or relabeling the instance to a different label. We also propose two methods that reduce forgetting on the remaining data: 1) utilizing adversarial examples to overcome forgetting at the representation-level and 2) leveraging weight importance metrics to pinpoint network parameters guilty of propagating unwanted information. Both methods only require the pre-trained model and data instances to forget, allowing painless application to real-life settings where the entire training set is unavailable. Through extensive experimentation on various image classification benchmarks, we show that our approach effectively preserves knowledge of remaining data while unlearning given instances in both single-task and continual unlearning scenarios.
• Abstract（参考訳）: 最近のデータ保護規則(一般データ保護規則など)の出現以来、事前訓練されたモデルの機密データから学んだ情報をゼロから再訓練することなく削除する需要が高まっている。 敵の攻撃や不公平に対するニューラルネットワークの固有の脆弱性は、残りのデータに対する予測性能を維持しながら、インスタンス単位で情報を削除または修正する堅牢な方法も要求している。 この目的のために、各インスタンスを元の予測から誤分類するか、インスタンスを別のラベルに置き換えることによって、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標とする、インスタンスに関するアンラーニングを定義する。 また、残りのデータの忘れを少なくする2つの方法を提案する。 1)敵の例を利用して表現レベルでの忘れを克服し、 2)不必要な情報を伝達した罪を犯したネットワークパラメータのピンポイントに重み付けの指標を活用する。 どちらの方法も、事前トレーニングされたモデルとデータインスタンスだけを忘れることが必要であり、トレーニングセット全体が利用できない実生活設定への苦痛のないアプリケーションを可能にする。 様々な画像分類ベンチマークを広範囲に実験した結果,本手法は単一タスクと連続的学習シナリオの両方において,与えられたインスタンスを学習しながら,残りのデータに関する知識を効果的に保持することを示す。

関連論文リスト

• Data Selection for Transfer Unlearning [14.967546081883034]
  我々は、プライバシーアプリケーションに対処しない、リラックスした未学習の定義を提唱する。 補助的な「静的」データセットから関連事例を選択するためのメカニズムを用いた新しい手法を提案する。 提案手法は,複数のデータセットにおいて,ゴールド標準の「エクササイズ・アンラーニング」よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-16T20:09:41Z)
• Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
  マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。 本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。 本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
  論文  参考訳（メタデータ） (2024-03-24T17:33:22Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
  オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。 本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:07:15Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Few-Shot Unlearning by Model Inversion [3.486204232859346]
  機械学習の課題は、対象のデータセットを消去することであり、不要な振る舞いを引き起こす。 モデルからトレーニングデータを抽出し,対象サンプルと類似したサンプルをフィルタリングし,再学習する新しいモデルインバージョン手法を考案した。 対象データのサブセットのみを用いた手法は,対象データの完全な表示で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-31T06:57:56Z)
• On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning [13.149070833843133]
  機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。 まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。 そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
  論文  参考訳（メタデータ） (2021-10-22T16:16:56Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。