論文の概要: Class Unlearning via Depth-Aware Removal of Forget-Specific Directions

• arxiv url: http://arxiv.org/abs/2604.15166v1
• Date: Thu, 16 Apr 2026 15:46:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.988081
• Title: Class Unlearning via Depth-Aware Removal of Forget-Specific Directions
• Title（参考訳）: 目標方向の深さ認識による授業の非学習
• Authors: Arman Hatami, Romina Aalishah, Ilya E. Monosov,
• Abstract要約: クラスアンラーニングは、訓練されたモデルから対象とする知識を取り除くことを目的としており、スクラッチから再トレーニングするコストがかからない。 既存のクラス・アンラーニング手法は、弱い選択性やネガティブな選択性を示し、深層表現における忘れクラス構造を保ち、最終層バイアスシフトに大きく依存していることを示す。 DAMPは1ショットでクローズドな重み付け法で、勾配に基づく最適化なしに事前訓練されたネットワークから忘れ特異的な方向を除去する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning aims to remove targeted knowledge from a trained model without the cost of retraining from scratch. In class unlearning, however, reducing accuracy on forget classes does not necessarily imply true forgetting: forgotten information can remain encoded in internal representations, and apparent forgetting may arise from classifier-head suppression rather than representational removal. We show that existing class-unlearning methods often exhibit weak or negative selectivity, preserve forget-class structure in deep representations, or rely heavily on final-layer bias shifts. We then introduce DAMP (Depth-Aware Modulation by Projection), a one-shot, closed-form weight-surgery method that removes forget-specific directions from a pretrained network without gradient-based optimization. At each stage, DAMP computes class prototypes in the input space of the next learnable operator, extracts forget directions as residuals relative to retain-class prototypes, and applies a projection-based update to reduce downstream sensitivity to those directions. To preserve utility, DAMP uses a parameter-free depth-aware scaling rule derived from probe separability, applying smaller edits in early layers and larger edits in deeper layers. The method naturally extends to multi-class forgetting through low-rank subspace removal. Across MNIST, CIFAR-10, CIFAR-100, and Tiny ImageNet, and across convolutional and transformer architectures, DAMP more closely resembles the retraining gold standard than some of the prior methods, improving selective forgetting while better preserving retain-class performance and reducing residual forget-class structure in deep layers.
• Abstract（参考訳）: 機械学習は、訓練されたモデルから対象とする知識を取り除くことを目的としており、スクラッチから再トレーニングするコストがかからない。 しかし、クラスアンラーニングでは、クラスを忘れることの正確さを減らすことは必ずしも真に忘れることを意味するものではない: 忘れられた情報は内部表現に符号化され続けることができ、明らかな忘れは、表現的除去よりも分類者による抑圧によって生じる可能性がある。 既存のクラス・アンラーニング手法は、しばしば弱選択性や負選択性を示し、深層表現における忘れクラス構造を保ち、最終層バイアスシフトに大きく依存していることを示す。 次にDAMP(Depth-Aware Modulation by Projection)を導入する。これは1ショットでクローズドな重み付け法で、勾配に基づく最適化なしに事前訓練されたネットワークから忘れ特異的な方向を除去する。 各段階において、DAMPは次の学習可能な演算子の入力空間におけるクラスプロトタイプを計算し、保持クラスプロトタイプに対する残留として忘れ方向を抽出し、これらの方向に対する下流感度を低減するためにプロジェクションベースの更新を適用する。 実用性を維持するために、DAMPはプローブ分離性から派生したパラメータフリーの深度対応スケーリングルールを使用しており、初期層ではより小さな編集が適用され、より深い層ではより大きな編集が適用される。 この方法は、低ランクのサブスペース削除によって、マルチクラスの忘れ物に自然に拡張される。 MNIST、CIFAR-10、CIFAR-100、Tiny ImageNet、および畳み込みおよびトランスフォーマーアーキテクチャでは、DAMPは以前の方法よりも、より密接な類似性を持つ。

関連論文リスト

• HSFM: Hard-Set-Guided Feature-Space Meta-Learning for Robust Classification under Spurious Correlations [25.503211313768062]
  本稿では,特徴空間で直接拡張を行う二段階メタラーニング手法を提案する。 ピクセル空間ではなくバックボーン出力で操作することで、この手法は非常に効率的で安定であり、1つのGPUで数分のトレーニングしか必要としない。
  論文  参考訳（メタデータ） (2026-03-31T06:32:56Z)
• Suppression or Deletion: A Restoration-Based Representation-Level Analysis of Machine Unlearning [24.40457827994831]
  本稿では,機械学習のための復元に基づく新しい分析フレームワークを提案する。 画像分類タスクにおいて、我々のフレームワークを12の非学習手法に適用すると、ほとんどの手法が高い回復率を達成することが分かる。 表現レベルの検証を優先する新たな評価ガイドラインを提案する。
  論文  参考訳（メタデータ） (2026-02-18T07:46:30Z)
• Delete and Retain: Efficient Unlearning for Document Classification [1.0026496861838448]
  Hessian Reassignmentは、文書分類におけるクラスアンラーニングのための2段階のモデルに依存しないソリューションである。 標準のテキストベンチマークでは、Hessian Reassignmentはクラスの精度をフルアズアウトクラスに近く保ちながら、桁違いに高速に実行した。 その結果、文書分類における効率的なクラスアンラーニングへの実践的で原則化された道筋が示される。
  論文  参考訳（メタデータ） (2025-12-06T18:57:06Z)
• Forward-Only Continual Learning [8.873948519614244]
  破滅的な忘れ物は、継続的な学習における中心的な課題である。 本稿では,フォロ(FoRo)を提案する。 実験により、FoRoは平均的な忘れを著しく減らし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2025-09-01T15:10:38Z)
• Reducing Class-wise Confusion for Incremental Learning with Disentangled Manifolds [27.39149861687709]
  クラスインクリメンタルラーニング(CIL)は、モデルが古いクラスを忘れずに、新しいクラスを継続的に学習できるようにすることを目的としている。 本研究では,CIL 用 Confusion-Reduced AuTo-Encoder 分類器 (CREATE) を開発した。 提案手法は軽量なオートエンコーダモジュールを用いて,潜在部分空間の各クラスに対してコンパクトな多様体を学習する。
  論文  参考訳（メタデータ） (2025-03-22T07:07:15Z)
• PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning [49.240408681098906]
  クラスインクリメンタルラーニング(CIL)は,旧クラスの識別性を維持しつつ,新たなクラスを段階的に認識することを目的としている。 既存のCILメソッドの多くは、例えば、古いデータの一部を格納して再トレーニングする例がある。 本稿では、入力空間における自己教師付き変換(SST)と深い特徴空間におけるプロトタイプ拡張(protoAug)を利用する、単純で斬新な二重バイアス低減フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-19T05:03:16Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
  受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。 本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-10T06:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。