論文の概要: On the Necessity of Output Distribution Reweighting for Effective Class Unlearning

• arxiv url: http://arxiv.org/abs/2506.20893v3
• Date: Thu, 25 Sep 2025 20:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 16:35:18.917762
• Title: On the Necessity of Output Distribution Reweighting for Effective Class Unlearning
• Title（参考訳）: 効果的な授業アンラーニングのための出力分布再重み付けの必要性について
• Authors: Ali Ebrahimpour-Boroojeny, Yian Wang, Hari Sundaram,
• Abstract要約: モデルが近隣のクラスに割り当てる確率を用いて、未学習のサンプルを検出するMIA-NNによる会員推論攻撃を導入する。 そこで我々は,このプライバシー漏洩を緩和する新たな微調整手法を提案する。
• 参考スコア（独自算出の注目度）: 9.13515473028423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we reveal a significant shortcoming in class unlearning evaluations: overlooking the underlying class geometry can cause privacy leakage. We further propose a simple yet effective solution to mitigate this issue. We introduce a membership-inference attack via nearest neighbors (MIA-NN) that uses the probabilities the model assigns to neighboring classes to detect unlearned samples. Our experiments show that existing unlearning methods are vulnerable to MIA-NN across multiple datasets. We then propose a new fine-tuning objective that mitigates this privacy leakage by approximating, for forget-class inputs, the distribution over the remaining classes that a retrained-from-scratch model would produce. To construct this approximation, we estimate inter-class similarity and tilt the target model's distribution accordingly. The resulting Tilted ReWeighting (TRW) distribution serves as the desired distribution during fine-tuning. We also show that across multiple benchmarks, TRW matches or surpasses existing unlearning methods on prior unlearning metrics. More specifically, on CIFAR-10, it reduces the gap with retrained models by 19% and 46% for U-LiRA and MIA-NN scores, accordingly, compared to the SOTA method for each category.
• Abstract（参考訳）: 本稿では,クラスアンラーニング評価における重大な欠点を明らかにし,その基盤となるクラス構造を見渡すと,プライバシーの漏洩を引き起こす可能性がある。 さらに、この問題を緩和するための単純で効果的な解決策を提案します。 モデルが近隣のクラスに割り当てる確率を用いて、未学習のサンプルを検出するMIA-NNによる会員推論攻撃を導入する。 実験の結果,既存のアンラーニング手法は複数のデータセットにまたがるMIA-NNに対して脆弱であることがわかった。 そこで我々は,このプライバシー漏洩を緩和する新たな微調整手法を提案する。 この近似を構築するために,クラス間の類似性を推定し,対象モデルの分布を傾ける。 結果として生じるTilted ReWeighting (TRW) 分布は、微調整中に望ましい分布として機能する。 また、複数のベンチマークにおいて、TRWは既存のアンラーニング手法と以前のアンラーニング指標を一致または超えることを示す。 より具体的には、CIFAR-10では、各カテゴリのSOTA法と比較して、U-LiRAおよびMIA-NNスコアに対する再訓練モデルとのギャップを19%、46%削減する。

関連論文リスト

• Active Data Sampling and Generation for Bias Remediation [0.0]
  トレーニング済みのクラスを微調整する際、不公平な分類を補うために、サンプリングとデータ生成の混合戦略が提案されている。 視覚的セマンティック・ロール・ラベリングのためのDeep Modelsのケーススタディとして、提案手法は90/10の不均衡から始まるシミュレートされたジェンダーバイアスを完全に解決することができる。
  論文  参考訳（メタデータ） (2025-03-26T10:42:15Z)
• Prior2Posterior: Model Prior Correction for Long-Tailed Learning [0.41248472494152805]
  本稿では,テクティタ後部確率を用いたトレーニングモデルの有効性を正確にモデル化するための新しい手法を提案する。 提案手法は,ロングテール文献から得られた複数のベンチマークデータセットに基づいて,新しい最先端(SOTA)を実現する。
  論文  参考訳（メタデータ） (2024-12-21T08:49:02Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• An Information Theoretic Evaluation Metric For Strong Unlearning [20.143627174765985]
  情報理論にインスパイアされた新しいホワイトボックス計量であるIDI(Information difference Index)を導入する。 IDIは、これらの特徴と忘れるべきラベルの相互情報を測定することにより、中間特徴の保持情報を定量化する。 我々の実験は、IDIが様々なデータセットやアーキテクチャをまたいだアンラーニングの度合いを効果的に測定できることを実証した。
  論文  参考訳（メタデータ） (2024-05-28T06:57:01Z)
• Hessian-Free Online Certified Unlearning [8.875278412741695]
  ほぼ瞬時にデータを除去するオンライン・アンラーニングアルゴリズムを開発した。 提案手法は,非学習および一般化保証の観点から,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• FORML: Learning to Reweight Data for Fairness [2.105564340986074]
  メタラーニング(FORML)によるフェアネス最適化リヘアリングについて紹介する。 FORMLは、トレーニングサンプル重量とニューラルネットワークのパラメータを共同最適化することで、公正性の制約と精度のバランスを取る。 また,FORMLは,既存の最先端再重み付け手法に比べて,画像分類タスクで約1%,顔予測タスクで約5%向上することを示した。
  論文  参考訳（メタデータ） (2022-02-03T17:36:07Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。