論文の概要: Test-Time Unlearning via Sparse Autoencoder

• arxiv url: http://arxiv.org/abs/2609.16229v1
• Date: Mon, 14 Sep 2026 18:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.182832
• Title: Test-Time Unlearning via Sparse Autoencoder
• Title（参考訳）: スパースオートエンコーダによるテスト時間アンラーニング
• Abstract要約: ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
• 参考スコア（独自算出の注目度）: 55.4290003355764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning aims to remove specific knowledge from a trained large language model (LLM) without retraining from scratch. Existing methods modify model weights via gradient ascent and its advances. While effective on certain benchmarks, these weight-based approaches exhibit a sharp forget-utility trade-off, where stronger forgetting of target knowledge can degrade model utility, and unlearned knowledge may reappear under post-unlearning fine-tuning or prompt attacks. We propose ARIA (autoencoder-gated inference-time unlearning), a test-time unlearning method that leaves model weights intact and gates access to unwanted knowledge only when generation enters a forget-related state. ARIA uses sparse autoencoder (SAE) latents to train a lightweight linear detector, then applies an interpretable intervention on triggered states with negligible test-time overhead. Empirical evaluations on TOFU, R-TOFU, and WMDP show that ARIA improves the forget-retain trade-off over weight-based baselines across both a thinking model (DeepSeek-R1-Distilled-Qwen-1.5B) and an instruction model (Gemma-3-1B-it), e.g., reducing WMDP-cyber forget-set accuracy significantly while keeping MMLU within 1% of the pre-unlearning model. We further introduce three post-unlearning adversarial attacks targeting weight-space and decoding-space recovery, and find that ARIA remains robust under all three, with forgetting changing by less than 1% under attack. A feature-level case study leveraging the interpretability of ARIA suggests that some retain degradation may reflect response styles underlying the unlearning data rather than leakage of the targeted knowledge itself, highlighting a potential source of bias in unlearning task construction.
• Abstract（参考訳）: Machine Unlearningは、トレーニング済みの大規模言語モデル(LLM)から特定の知識を、スクラッチからトレーニングすることなく削除することを目的としている。 既存の方法は勾配上昇によるモデル重みの修正とその進歩である。 特定のベンチマークで有効であるが、これらの重みに基づくアプローチは、ターゲット知識の強い忘れ込みがモデルユーティリティを低下させ、未学習の知識は、学習後の微調整や迅速な攻撃の下で再び現れる可能性がある、急激な忘れやすさのトレードオフを示す。 ARIA (autoencoder-gated inference-time unlearning) は,モデルウェイトをそのまま残し,世代が無視関連状態に入った場合にのみ不要な知識に門戸がアクセスするテスト時アンラーニング手法である。 ARIAは、スパースオートエンコーダ(SAE)潜伏剤を使用して、軽量な線形検出器を訓練し、無視可能なテスト時間オーバーヘッドを持つトリガ状態に解釈可能な介入を施す。 TOFU, R-TOFU, WMDPの実証評価により, ARIAは, MMLUを学習前モデルの1%に抑えつつ,TOFU, R-TOFU, WMDPの両モデル(DeepSeek-R1-Distilled-Qwen-1.5B)とインストラクションモデル(Gemma-3-1B-it)の両モデルにおいて, ウェイトベースベースラインに対する忘れ-保持トレードオフを改善した。 さらに,重み空間と復号空間の回復を狙った3つの学習後敵攻撃を導入し,ARIAは攻撃対象の1%未満の変化を忘れつつも,これら3つの中で頑健なままであることを確認した。 ARIAの解釈可能性を活用した機能レベルのケーススタディでは、学習対象の知識自体を漏洩させるのではなく、学習対象のデータに基づく応答スタイルを反映し、学習対象のタスク構築における潜在的なバイアスの原因を浮き彫りにしていることが示唆されている。

関連論文リスト

• LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning [30.67510673327925]
  LACUNA は,基礎的パラメータレベルのローカライゼーションを用いた最初の未学習テストベッドである。 LACUNAは攻撃に対する強い消去と堅牢性を達成し、正確な未学習の重要性を強調した。
  論文  参考訳（メタデータ） (2026-07-02T17:59:52Z)
• Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning [58.725080160369494]
  Distinguishable Deletion (mathrmD2$)は、特定のトークンではなく、潜在表現の応答分布を制限するパラダイムである。 本稿では,知識の存在と未学習コンテンツと保持コンテンツとの分離を定量化するエネルギー指標を提案する。 実験の結果、EUAは以前の方法よりも大幅に優れており、$mathrmD2$の優位性を示している。
  論文  参考訳（メタデータ） (2026-05-16T03:15:35Z)
• RePAIR: Interactive Machine Unlearning through Prompt-Aware Model Repair [1.7118181664522618]
  大規模言語モデル(LLM)は、大規模ウェブコーパスでの事前学習において、有害な知識、誤情報、個人データを本質的に吸収する。 対話型機械学習(Interactive Machine Unlearning, IMU)は,LLMに推論時に自然言語で目的とする知識を忘れるように指示する新しいパラダイムである。 RePAIR は (i) 学習意図検出のための監視犬モデル, (ii) 修復手順を生成する外科医モデル, (iii) パラメータを自律的に更新する患者モデルから構成される。
  論文  参考訳（メタデータ） (2026-04-14T14:44:45Z)
• Scalable and Robust LLM Unlearning by Correcting Responses with Retrieved Exclusions [49.55618517046225]
  Webスケールのコーパスリスクを記憶し、センシティブな情報を暴露する言語モデル。 本稿では,新しいアンラーニングフレームワークであるCorrective Unlearning with Retrieved Exclusions (CURE)を提案する。 CUREは、リークのモデル出力を確認し、安全な応答に修正する。
  論文  参考訳（メタデータ） (2025-09-30T09:07:45Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• OPC: One-Point-Contraction Unlearning Toward Deep Feature Forgetting [2.6815971241599126]
  機械学習は、プライバシ、法的、倫理的要件を満たすために、訓練されたモデルから特定のデータやクラスの影響を取り除こうとする。 既存の未学習の手法では、未学習モデルの現象は、モデル応答のみを調整することで、忘れるふりをする傾向がある。 我々は,一点抽出(OPC)という新しい汎用的未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-10T13:34:02Z)
• Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
  大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。 私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。 Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
  論文  参考訳（メタデータ） (2025-06-04T01:23:35Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMの堅牢かつ効率的なアンラーニングを可能にする新しいフレームワークであるLoKUを提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• Unrolling SGD: Understanding Factors Influencing Machine Unlearning [17.6607904333012]
  機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。 まず、近似アンラーニングのアプローチとメトリクスを分類する。 検証誤差(L2差)、すなわち、ほとんど学習されていないモデルの重みと鼻再訓練されたモデルのL2差を同定する。
  論文  参考訳（メタデータ） (2021-09-27T23:46:59Z)
• AGKD-BML: Defense Against Adversarial Attack by Attention Guided Knowledge Distillation and Bi-directional Metric Learning [61.8003954296545]
  Atention Guided Knowledge Distillation and Bi-directional Metric Learning (AGKD-BML) による新しい対人訓練ベースモデルを提案する。 提案したAGKD-BMLモデルは,最先端のアプローチよりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-08-13T01:25:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。