論文の概要: On the Necessity of Output Distribution Reweighting for Effective Class Unlearning

• arxiv url: http://arxiv.org/abs/2506.20893v1
• Date: Wed, 25 Jun 2025 23:53:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.916857
• Title: On the Necessity of Output Distribution Reweighting for Effective Class Unlearning
• Title（参考訳）: 効果的な授業アンラーニングのための出力分布再重み付けの必要性について
• Authors: Yian Wang, Ali Ebrahimpour-Boroojeny, Hari Sundaram,
• Abstract要約: トレーニングされたモデルから特定のクラスを入手することは、ユーザ削除の権利を強制し、有害またはバイアスのある予測を緩和するために不可欠である。 トレーニングされたモデルから特定のクラスを入手することは、ユーザ削除の権利を強制し、有害またはバイアスのある予測を緩和するために不可欠である。 提案手法は,先行作業による評価に用いられるメトリクスと,本研究で提案する新たな指標の両方において,完全な再トレーニングの結果と一致することを示す。
• 参考スコア（独自算出の注目度）: 4.516437962353726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we introduce an output-reweighting unlearning method, RWFT, a lightweight technique that erases an entire class from a trained classifier without full retraining. Forgetting specific classes from trained models is essential for enforcing user deletion rights and mitigating harmful or biased predictions. The full retraining is costly and existing unlearning methods fail to replicate the behavior of the retrained models when predicting samples from the unlearned class. We prove this failure by designing a variant of membership inference attacks, MIA-NN that successfully reveals the unlearned class for any of these methods. We propose a simple redistribution of the probability mass for the prediction on the samples in the forgotten class which is robust to MIA-NN. We also introduce a new metric based on the total variation (TV) distance of the prediction probabilities to quantify residual leakage to prevent future methods from susceptibility to the new attack. Through extensive experiments with state of the art baselines in machine unlearning, we show that our approach matches the results of full retraining in both metrics used for evaluation by prior work and the new metric we propose in this work. Compare to state-of-the-art methods, we gain 2.79% in previously used metrics and 111.45% in our new TV-based metric over the best existing method.
• Abstract（参考訳）: そこで本研究では,クラス全体をトレーニング済みの分類器から消去する軽量な手法であるRWFTを導入する。 トレーニングされたモデルから特定のクラスを入手することは、ユーザ削除の権利を強制し、有害またはバイアスのある予測を緩和するために不可欠である。 フルリトレーニングはコストがかかり、既存のアンラーニング手法では、未学習クラスのサンプルを予測する際に、再トレーニングされたモデルの振る舞いを再現できない。 我々は,これらの手法の未学習クラスを明らかにするために,MIA-NNと呼ばれるメンバシップ推論攻撃の変種を設計することで,この失敗を証明した。 そこで我々は,MIA-NNに頑健な,忘れられたクラスにおけるサンプルの予測のための確率質量の簡単な再分配を提案する。 また, 予測確率の総変動(TV)距離に基づく新しい指標を導入し, 余剰リークを定量化し, 今後の攻撃に対する影響を抑える。 機械学習における最先端のベースラインによる広範な実験を通して、我々の手法は、先行作業による評価に使用されるメトリクスと、本研究で提案する新しいメトリクスの両方において、完全な再トレーニングの結果と一致することを示す。 最先端の手法と比較して、従来使用されていた測定値が2.79%、テレビベースの測定値が111.45%となっている。

関連論文リスト

• Active Data Sampling and Generation for Bias Remediation [0.0]
  トレーニング済みのクラスを微調整する際、不公平な分類を補うために、サンプリングとデータ生成の混合戦略が提案されている。 視覚的セマンティック・ロール・ラベリングのためのDeep Modelsのケーススタディとして、提案手法は90/10の不均衡から始まるシミュレートされたジェンダーバイアスを完全に解決することができる。
  論文  参考訳（メタデータ） (2025-03-26T10:42:15Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• An Information Theoretic Evaluation Metric For Strong Unlearning [20.143627174765985]
  情報理論にインスパイアされた新しいホワイトボックス計量であるIDI(Information difference Index)を導入する。 IDIは、これらの特徴と忘れるべきラベルの相互情報を測定することにより、中間特徴の保持情報を定量化する。 我々の実験は、IDIが様々なデータセットやアーキテクチャをまたいだアンラーニングの度合いを効果的に測定できることを実証した。
  論文  参考訳（メタデータ） (2024-05-28T06:57:01Z)
• Hessian-Free Online Certified Unlearning [8.875278412741695]
  ほぼ瞬時にデータを除去するオンライン・アンラーニングアルゴリズムを開発した。 提案手法は,非学習および一般化保証の観点から,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• FORML: Learning to Reweight Data for Fairness [2.105564340986074]
  メタラーニング(FORML)によるフェアネス最適化リヘアリングについて紹介する。 FORMLは、トレーニングサンプル重量とニューラルネットワークのパラメータを共同最適化することで、公正性の制約と精度のバランスを取る。 また,FORMLは,既存の最先端再重み付け手法に比べて,画像分類タスクで約1%,顔予測タスクで約5%向上することを示した。
  論文  参考訳（メタデータ） (2022-02-03T17:36:07Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。