論文の概要: Unmerge: Efficient Machine Unlearning via Task Arithmetic

• arxiv url: http://arxiv.org/abs/2609.38895v1
• Date: Wed, 30 Sep 2026 03:41:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.147014
• Title: Unmerge: Efficient Machine Unlearning via Task Arithmetic
• Title（参考訳）: Unmerge: Task Arithmeticによる効率的な機械学習
• Abstract要約: 近似マシンアンラーニングは、完全に再トレーニングすることなく、トレーニングされたモデルから忘れられたセットの影響を取り除くことを目指している。 我々はタスク算術のレンズを通してアンラーニングをリキャストする。 我々は3つの直感的な目標(分割ベクトルを分割し、保持空間へのリークを抑え、補正サイズを限定する)を最適化する。
• 参考スコア（独自算出の注目度）: 12.213164906982668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Approximate machine unlearning seeks to remove the influence of a forget set from a trained model without full retraining. Existing gradient-based methods require data-dependent hyperparameter search, struggle when forget and retain knowledge are entangled, and offer little insight into where unlearning actually happens inside the network. We recast unlearning through the lens of task arithmetic: if finetuning produces a merged task vector $τ_m$ that combines learning on forget and retain sets, unlearning is the inverse operation that subtracts a learned forget component $τ_F$ to recover the retain task vector $τ_R$. The forget signal is concentrated: at every layer, forget activations lie in a subspace spanned by a handful of dominant directions, so we factorize $τ_F$ in a low-rank forget basis, which is faithful up to a small tail-eigenvalue residual and limits how far the correction can perturb retain. We then optimize three intuitive goals (match the merged vector inside the forget span, suppress leakage into the retain span, and bound the correction size) that provably bound forget leakage and retain damage in activation space. The resulting algorithm, Unmerge, is fast and powerful: on class-level unlearning with ResNet-50 on CIFAR-100 and Tiny ImageNet, it improves Tug-of-War by up to ~24% over a baseline of comparable runtime and by up to ~18% over stronger baselines that run ~5x slower, keeps membership-inference exposure at the level of retraining, and shrinks the feature-distribution gap to the retrained model, where relabeling methods leave forget features cleanly separable. Further studies show that Unmerge also applies to ViT-S/16 and scales to Llama-3.2-3B. The per-layer basis geometry that drives the algorithm also serves as a layerwise diagnostic for when and where unlearning becomes structurally hard.
• Abstract（参考訳）: 近似マシンアンラーニングは、完全に再トレーニングすることなく、トレーニングされたモデルから忘れられたセットの影響を取り除くことを目指している。 既存の勾配に基づく手法では、データ依存のハイパーパラメーターサーチ、知識が絡み合っていることを忘れ、保持する際の苦労、ネットワーク内でアンラーニングが実際に起きているかについての洞察がほとんどない。 タスク算術のレンズを通してアンラーニングをリキャストする:ファインタニングが、左折学習とセット保持を組み合わせた統合タスクベクトル$τ_m$を生成する場合、アンラーニングは、学習した左折成分$τ_F$を減算して保持タスクベクトル$τ_R$を復元する逆演算である。 すべての層において、アクティベーションはいくつかの支配的な方向で区切られた部分空間に置かれるので、低いランクのリクタベースで$τ_F$を分解します。 次に、3つの直感的な目標(分割されたベクトルを分割し、保持空間へのリークを抑え、補正サイズを限定する)を最適化する。 CIFAR-100 と Tiny ImageNet の ResNet-50 によるクラスレベルのアンラーニングでは、Tug-of-War を同等のランタイムのベースラインで最大で24%改善し、最大で5倍遅く動作する強力なベースラインで最大で18%改善し、再トレーニングのレベルでメンバーシップ-推論の露出を保ち、リトレーニングされたモデルに対する機能-分散ギャップを小さくし、レラベリングメソッドが機能をきれいに分離できるようにしている。 さらなる研究により、UnmergeはViT-S/16にも適用され、Llama-3.2-3Bにスケールすることが示されている。 アルゴリズムを駆動する層ごとの基底幾何学は、アンラーニングが構造的に困難になる時期と場所の階層的診断としても機能する。

関連論文リスト

• Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
  ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
  論文  参考訳（メタデータ） (2026-09-14T18:58:09Z)
• Learning to Solve Generative ODEs Beyond the Linear Span [50.13853710831612]
  空間残留演算子を用いてスカラー係数更新を増強する軽量ニューラルソルバであるSpanLiftを提案する。 SpanLiftは、ピクセル空間の拡散、潜水流のマッチング、降水は今、最先端の数ステップのサンプリングを実現している。
  論文  参考訳（メタデータ） (2026-06-07T15:22:13Z)
• PURGE: Projected Unlearning via Retain-Guided Erasure [5.069332646113575]
  PURGEは、単純だが未発見の観測(継続学習(CL)と機械未学習(MU))に基づいて構築された機械学習アルゴリズムである。 CLは古いタスクを忘れずに新しいタスクを学習しようとします。MUは、反対方向に同じ根底にある緊張力を表す保持パフォーマンスを損なうことなく、特定のデータを消去しようとします。 PURGEは、MIA AUROCを0.5(理想)に近い精度で達成し、勾配上昇、KLユニフォーム、プライバシーユーティリティフロンティアのいくつかのベースラインを達成しながら、常に96%以上の精度を維持している。
  論文  参考訳（メタデータ） (2026-06-02T15:53:01Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• BLUR: A Bi-Level Optimization Approach for LLM Unlearning [100.90394814817965]
  未学習問題の階層構造をモデル化することが重要であると論じる。 本稿では,より優れた性能を実現する新しいアルゴリズムであるBi-Level UnleaRning(textttBLUR)を提案する。
  論文  参考訳（メタデータ） (2025-06-09T19:23:05Z)
• Deep Unlearning: Fast and Efficient Gradient-free Approach to Class Forgetting [9.91998873101083]
  学習モデルから特定のクラスを戦略的に除去する新しいクラスアンラーニングアルゴリズムを提案する。 我々のアルゴリズムは、メンバーシップ推論攻撃(MIA)に対する競争的アンラーニング性能とレジリエンスを示す。
  論文  参考訳（メタデータ） (2023-12-01T18:29:08Z)
• MobileTL: On-device Transfer Learning with Inverted Residual Blocks [14.305834934988185]
  Inverted Residual Blocks (IRB) を用いたモデル転送学習手法であるMobileTLを提案する。 MobileTLは、下位パスのアクティベーションマップの保存を避けるために、内部正規化レイヤのシフトをトレーニングする。 提案手法は,MobileNetV2 と V3 IRB のメモリ使用量をそれぞれ 46% と 53% に削減する。
  論文  参考訳（メタデータ） (2022-12-05T23:07:55Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。