論文の概要: UnAct: Gradient-Free Unlearning via Targeted Activation Intervention

• arxiv url: http://arxiv.org/abs/2610.04426v1
• Date: Sat, 03 Oct 2026 10:37:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 20:33:48.179831
• Title: UnAct: Gradient-Free Unlearning via Targeted Activation Intervention
• Title（参考訳）: UnAct: ターゲットアクティベーション・インターベンションによるグラディエント・フリー・アンラーニング
• Abstract要約: 本手法では, 誤り画像の前方通過のみを必要とする勾配なしのクラス・アンラーニング手法UnActを導入する。 UnActは応答によって遅延層単位をスコアし、最も応答性の高い接続を減らし、勾配もラベルも保持データも使用せず、最大20ラウンドでこれを繰り返す。 ResNet-18では、テストされたすべてのサイズで、UnActの保持精度は2.5ポイント以内で、SSDとLFSSDはフルクラスの運用ポイントで、いくつかのクラスで最大86ポイントを失う。
• 参考スコア（独自算出の注目度）: 1.6869375296396552
• License:
• Abstract: Machine unlearning seeks to remove the influence of designated training data from a trained model without retraining from scratch. Retrain-free methods such as Selective Synaptic Dampening (SSD) and its label-free variant LFSSD avoid full retraining but still require backpropagation and parameter importance computed over the entire dataset. We ask: what happens when a deletion request arrives with only a few images of the class to be forgotten? To answer this question, we introduce UnAct, a gradient-free class-unlearning method that needs only forward passes over the forget images. UnAct scores late-layer units by their responses, attenuates the most responsive connections, and repeats this for up to 20 rounds using no gradients, no labels, and no retained data. On ResNet-18 trained with CIFAR-10, CIFAR-20, and CIFAR-100, UnAct is competitive with SSD and LFSSD when forgetting entire classes and, unlike them, never collapses the network when forget data is scarce. On ResNet-18, across all tested sizes, UnAct's retain accuracy stays within 2.5 points of retraining, while SSD and LFSSD, at their full-class operating points, lose up to 86 points on some classes. With five forget images on CIFAR-10, UnAct's distance to retraining is 0.21 points, against 67 for LFSSD and 90 for SSD, and re-selecting SSD's threshold at each size with an oracle does not close the gap. In preliminary transfer to ViT-B/16, UnAct's distance to retraining is 11.5 against 33.7 for SSD, and a request is 19x faster than SSD when SSD computes its importance at request time. The code is available at https://github.com/abdulmuizz0903/UnAct
• Abstract（参考訳）: 機械学習は、スクラッチからリトレーニングすることなく、トレーニングされたモデルから指定されたトレーニングデータの影響を取り除こうとする。 Selective Synaptic Dampening (SSD) やそのラベルなし変種LFSSDのようなリトレインフリーメソッドは完全なリトレインを回避するが、それでもデータセット全体にわたって計算されるバックプロパゲーションとパラメータの重要度を必要とする。 クラスのイメージがほんの数枚だけ忘れられた削除要求が届いたらどうなるのか? この疑問に答えるために、我々はUnActという勾配のないクラスアンラーニング手法を紹介した。 UnActは応答によって遅延層単位をスコアし、最も応答性の高い接続を減らし、勾配もラベルも保持データも使用せず、最大20ラウンドでこれを繰り返す。 CIFAR-10、CIFAR-20、CIFAR-100でトレーニングされたResNet-18では、UnActはクラス全体を忘れてもSSDやLFSSDと競合する。 ResNet-18では、テストされたすべてのサイズで、UnActの保持精度は2.5ポイント以内であり、SSDとLFSSDはフルクラスの運用ポイントで、いくつかのクラスで最大86ポイントを失う。 CIFAR-10の5つの画像が忘れられ、UnActのリトレーニング距離は0.21ポイントであり、LFSSDは67点、SSDは90点である。 ViT-B/16への事前転送では、UnActのリトレーニング距離はSSDで11.5対33.7であり、SSDが要求時にその重要性を計算する場合、要求はSSDより19倍高速である。 コードはhttps://github.com/abdulmuizz0903/UnActで入手できる。

関連論文リスト

• Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA [8.191149161025198]
  継続的機械学習は、もはや保持すべきでないデータの影響を排除し、モデルの有用性を他のすべてに保持することを目的としています。 Low-Rank Adaptation (LoRA)は、このような更新を実装する効率的な方法を提供するが、多くのシーケンシャルなLoRAモジュールを組み合わせることで、パラメータの衝突につながる。 Singular Value Decomposition (SVD)-guided orthogonal subspace projection に基づく静的な代替法を提案する。
  論文  参考訳（メタデータ） (2026-04-14T09:59:32Z)
• Distillation-Guided Structural Transfer for Continual Learning Beyond Sparse Distributed Memory [29.87863386264415]
  本稿では, 蒸留をレギュレータとしてではなく, トポロジに整合した情報流路として扱う構造ガイド型連続学習フレームワークを提案する。 SSDは、活性化頻度の高いニューロンを特定し、リプレイやタスクラベルを必要とせずに、以前のTop-Kworksおよび出力ロジット内の知識を選択的に蒸留する。
  論文  参考訳（メタデータ） (2025-12-17T10:17:01Z)
• REPA Works Until It Doesn't: Early-Stopped, Holistic Alignment Supercharges Diffusion Training [58.33728862521732]
  Diffusion Transformer (DiTs)は最先端の画像品質を提供するが、訓練は依然として遅い。 最近の治療 -- DiT の隠された特徴と非生成的教師(例えば DINO)の特徴とを一致させる表現アライメント(REPA) -- は、初期のエポックを劇的に加速させるが、その後パフォーマンスを低下させる。 生成学習者が共同データ分布をモデル化し始めると、教師の低次元埋め込みと注意パターンがガイドではなくストラトジャケットになる。 HASTEを紹介する
  論文  参考訳（メタデータ） (2025-05-22T15:34:33Z)
• Exploring the Benefit of Activation Sparsity in Pre-training [117.25661020250658]
  プレトレーニング中に活性化特性がどう変化するかを検討した。 本稿では,Sparse-Dense Learning (SSD)を提案する。 SSDは同じモデルサイズで同等のパフォーマンスを実現し、事前トレーニングコストを削減する。
  論文  参考訳（メタデータ） (2024-10-04T13:53:33Z)
• SSDTrain: An Activation Offloading Framework to SSDs for Faster Large Language Model Training [13.283682311968752]
  SSDTrainは、高容量GPUメモリにオフロードするアダプティブアクティベーションフレームワークである。 PyTorch、Megatron、DeepSpeedといった一般的なディープラーニングフレームワークと互換性がある。 その結果、SSDTrainはアクティベーションピークメモリ使用量の47%を削減した。
  論文  参考訳（メタデータ） (2024-08-19T14:09:48Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。