論文の概要: Delete and Retain: Efficient Unlearning for Document Classification

• arxiv url: http://arxiv.org/abs/2512.13711v1
• Date: Sat, 06 Dec 2025 18:57:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-21 14:22:08.765879
• Title: Delete and Retain: Efficient Unlearning for Document Classification
• Title（参考訳）: 削除と保持: 文書分類のための効率的な未学習
• Authors: Aadya Goel, Mayuri Sridhar,
• Abstract要約: Hessian Reassignmentは、文書分類におけるクラスアンラーニングのための2段階のモデルに依存しないソリューションである。 標準のテキストベンチマークでは、Hessian Reassignmentはクラスの精度をフルアズアウトクラスに近く保ちながら、桁違いに高速に実行した。 その結果、文書分類における効率的なクラスアンラーニングへの実践的で原則化された道筋が示される。
• 参考スコア（独自算出の注目度）: 1.0026496861838448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning aims to efficiently remove the influence of specific training data from a model without full retraining. While much progress has been made in unlearning for LLMs, document classification models remain relatively understudied. In this paper, we study class-level unlearning for document classifiers and present Hessian Reassignment, a two-step, model-agnostic solution. First, we perform a single influence-style update that subtracts the contribution of all training points from the target class by solving a Hessian-vector system with conjugate gradients, requiring only gradient and Hessian-vector products. Second, in contrast to common unlearning baselines that randomly reclassify deleted-class samples, we enforce a decision-space guarantee via Top-1 classification. On standard text benchmarks, Hessian Reassignment achieves retained-class accuracy close to full retrain-without-class while running orders of magnitude faster. Additionally, it consistently lowers membership-inference advantage on the removed class, measured with pooled multi-shadow attacks. These results demonstrate a practical, principled path to efficient class unlearning in document classification.
• Abstract（参考訳）: 機械学習は、モデルから特定のトレーニングデータの影響を、完全なリトレーニングなしで効率的に除去することを目的としている。 LLMのアンラーニングには多くの進歩があったが、文書分類モデルはいまだに研究が進んでいない。 本稿では,文書分類のためのクラスレベルのアンラーニングと,2段階のモデルに依存しない解であるHessian Reassignmentについて検討する。 まず,Hessian-vector系を共役勾配で解き,勾配とHessian-vector積のみを必要とすることにより,対象クラスからすべてのトレーニングポイントの寄与を減じる単一の影響型更新を行う。 第2に、削除されたクラスサンプルをランダムに再分類する一般的な未学習ベースラインとは対照的に、Top-1分類による決定空間保証を実施する。 標準テキストベンチマークでは、Hessian Reassignmentは、オーダーを桁違いに高速に実行しながら、完全なリトレーニングなしクラスに近い保持クラスの精度を達成する。 さらに、プールされたマルチシャドウアタックによって測定された、削除されたクラスに対するメンバシップ推論のアドバンテージを一貫して低下させる。 これらの結果は、文書分類における効率的なクラスアンラーニングへの実践的で原則化された道筋を示している。

関連論文リスト

• GLiClass: Generalist Lightweight Model for Sequence Classification Tasks [49.2639069781367]
  本稿では,シーケンス分類タスクにGLiNERアーキテクチャを適用する新しい手法であるGLiClassを提案する。 提案手法は,ゼロショットおよび少数ショット学習シナリオに必要な柔軟性を維持しつつ,埋め込み方式に匹敵する高い精度と効率を実現する。
  論文  参考訳（メタデータ） (2025-08-11T06:22:25Z)
• CBR - Boosting Adaptive Classification By Retrieval of Encrypted Network Traffic with Out-of-distribution [9.693391036125908]
  一般的なアプローチの1つは、一定の数のクラスで機械学習またはディープラーニングベースのソリューションを使用することである。 未知のクラスを扱うソリューションの1つは、モデルを再トレーニングすることである。 本稿では,暗号ネットワークトラフィック分類の新しいアプローチであるRetrieval CBRによる適応分類を提案する。
  論文  参考訳（メタデータ） (2024-03-17T13:14:09Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
  改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。 我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。 提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
  論文  参考訳（メタデータ） (2022-11-05T17:19:14Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Class-Incremental Learning with Generative Classifiers [6.570917734205559]
  本稿では,クラス増分学習のための新しい戦略を提案する。 本提案は,p(x|y)p(y) として分解された合同分布 p(x,y) を学習し,ベイズ則を用いた分類を行うことである。 ここでは,各学習クラスに対して,変分オートエンコーダをトレーニングすることで,この戦略を実証する。
  論文  参考訳（メタデータ） (2021-04-20T16:26:14Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。