論文の概要: Challenging Forgets: Unveiling the Worst-Case Forget Sets in Machine Unlearning

• arxiv url: http://arxiv.org/abs/2403.07362v1
• Date: Tue, 12 Mar 2024 06:50:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 22:45:39.504191
• Title: Challenging Forgets: Unveiling the Worst-Case Forget Sets in Machine Unlearning
• Title（参考訳）: Challenging Forgets: マシンアンラーニングにおける最悪のツールセットの展開
• Authors: Chongyu Fan, Jiancheng Liu, Alfred Hero, Sijia Liu
• Abstract要約: マシン・アンラーニング(MU)は、選択したデータポイントがモデルの性能に与える影響を排除することを目的としている。 データ影響消去のための様々なMU手法にもかかわらず、評価は主にランダムなデータの忘れ方に焦点を当てている。 本稿では,影響消去の最も重要な課題を示すデータサブセットの同定を提案する。
• 参考スコア（独自算出の注目度）: 10.923035911711999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The trustworthy machine learning (ML) community is increasingly recognizing the crucial need for models capable of selectively 'unlearning' data points after training. This leads to the problem of machine unlearning (MU), aiming to eliminate the influence of chosen data points on model performance, while still maintaining the model's utility post-unlearning. Despite various MU methods for data influence erasure, evaluations have largely focused on random data forgetting, ignoring the vital inquiry into which subset should be chosen to truly gauge the authenticity of unlearning performance. To tackle this issue, we introduce a new evaluative angle for MU from an adversarial viewpoint. We propose identifying the data subset that presents the most significant challenge for influence erasure, i.e., pinpointing the worst-case forget set. Utilizing a bi-level optimization principle, we amplify unlearning challenges at the upper optimization level to emulate worst-case scenarios, while simultaneously engaging in standard training and unlearning at the lower level, achieving a balance between data influence erasure and model utility. Our proposal offers a worst-case evaluation of MU's resilience and effectiveness. Through extensive experiments across different datasets (including CIFAR-10, 100, CelebA, Tiny ImageNet, and ImageNet) and models (including both image classifiers and generative models), we expose critical pros and cons in existing (approximate) unlearning strategies. Our results illuminate the complex challenges of MU in practice, guiding the future development of more accurate and robust unlearning algorithms. The code is available at https://github.com/OPTML-Group/Unlearn-WorstCase.
• Abstract（参考訳）: 信頼できる機械学習(ML)コミュニティは、トレーニング後のデータポイントを選択的に'アンラーニング'できるモデルの必要性をますます認識している。 これにより、選択したデータポイントがモデルのパフォーマンスに与える影響を排除し、モデルの実用性を維持しながら、機械学習後の問題(MU)が発生する。 様々なデータインフルエンス消去のためのmメソッドにもかかわらず、評価は主にランダムなデータ忘れることに焦点を当てており、学習しないパフォーマンスの真正性を真に評価するためにどのサブセットを選択するべきかを無視している。 この問題に対処するために,対立的な視点からMUの新たな評価アングルを導入する。 我々は,影響消去の最も大きな課題を示すデータサブセット,すなわち最悪のケースの忘れ集合の特定を提案する。 両レベル最適化の原則を用いることで、最悪ケースシナリオをエミュレートする上で、上位最適化レベルの未学習課題を増幅すると同時に、標準トレーニングとアンラーニングを低レベルのレベルで同時に実施し、データ影響の消去とモデルユーティリティのバランスを達成する。 本提案は,muのレジリエンスと有効性を最悪の場合に評価する。 さまざまなデータセット(cifar-10, 100, celeba, tiny imagenet, imagenetなど)とモデル(イメージ分類器と生成モデルの両方を含む)をまたいだ広範な実験を通じて、既存の(ほぼ)未学習戦略における重要な長所と短所を公開する。 その結果,MUの複雑な課題を解明し,より正確で堅牢な未学習アルゴリズムの開発を導くことができた。 コードはhttps://github.com/OPTML-Group/Unlearn-WorstCaseで入手できる。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
  学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Task-Aware Machine Unlearning and Its Application in Load Forecasting [4.00606516946677]
  本稿では、すでに訓練済みの予測器に対するデータセットの一部の影響を除去するために特別に設計された機械学習の概念を紹介する。 局所モデルパラメータ変化の感度を影響関数とサンプル再重み付けを用いて評価することにより,性能認識アルゴリズムを提案する。 リアルな負荷データセットを用いて,線形,CNN,Mixerベースの負荷予測器上で,未学習アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2023-08-28T08:50:12Z)
• Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
  最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。 本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。 理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
  論文  参考訳（メタデータ） (2023-04-11T02:12:02Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
  継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。 提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。 提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
  論文  参考訳（メタデータ） (2021-06-02T11:39:25Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)
• Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning [59.65752299209042]
  このようなシナリオ下でのConvNetの学習について検討する。 私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。 クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
  論文  参考訳（メタデータ） (2020-01-06T03:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。