論文の概要: Neuralyzing the Trace: Selective Representation-Level Unlearning with Contrastive Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2609.31056v1
• Date: Fri, 25 Sep 2026 09:51:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.331187
• Title: Neuralyzing the Trace: Selective Representation-Level Unlearning with Contrastive Sparse Autoencoders
• Title（参考訳）: トレースのニューラルライジング:コントラストスパースオートエンコーダを用いた選択表現レベルアンラーニング
• Abstract要約: 機械学習は、モデルの他の能力を維持しながら、ターゲット情報を削除することを目的としている。 より選択的に忘れられる特徴を学習するために設計された、コントラストのあるスパースオートエンコーダであるSCALPELを紹介する。 理論的には、コントラスト学習が目標選択的特徴を促進し、選択スコアが予測される背景知識摂動を制御することを示す。
• 参考スコア（独自算出の注目度）: 1.3108652488669734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning aims to remove targeted information while preserving a model's other abilities. In realistic settings, such as privacy requests under the EU GDPR, the target may be narrow, for example information associated with a single person. Behavioral forgetting alone may be insufficient, motivating interventions directly on internal representations. However, standard mechanistic-interpretability extractors are poorly selective for such targets. We identify an energy bias in reconstruction-based extraction, which favors dominant background structure over low-energy target-specific components. We introduce SCALPEL, a contrastive sparse autoencoder designed to learn more selective forget features. We show theoretically that contrastive training promotes target-selective features and that our selection score controls expected background knowledge perturbation. We validate SCALPEL experimentally on TOFU across Qwen, Llama, and Gemma, where it substantially improves over NMF and standard SAE interventions and is competitive with Gradient Difference and RMU, bridging mechanistic interpretability and fine-grained unlearning.
• Abstract（参考訳）: 機械学習は、モデルの他の能力を維持しながら、ターゲット情報を削除することを目的としている。 EU GDPRの下でのプライバシー要求のような現実的な設定では、ターゲットは狭くなりうる。 行動的忘れは不十分であり、内部表現に直接介入を動機付ける。 しかし、標準的な機械論的・解釈可能性抽出器はそのような対象に対してあまり選択性がない。 低エネルギー目標固有成分よりも支配的背景構造を優先する再構成に基づく抽出におけるエネルギーバイアスを同定する。 より選択的に忘れられる特徴を学習するために設計された,コントラストのあるスパースオートエンコーダであるSCALPELを紹介する。 理論的には、コントラスト学習が目標選択的特徴を促進し、選択スコアが予測される背景知識摂動を制御することを示す。 我々は,Qwen,Llama,GemmaのTOFU上でSCALPELを実験的に検証し,NMFや標準SAEの介入よりも大幅に改善し,グラディエント差分やRMUと競合し,機械的解釈性と粒度の未学習をブリッジする。

関連論文リスト

• Membership Inference Attacks Expose Participation Privacy in ECG Foundation Encoders [3.4920018472301866]
  自己教師付き学習で事前訓練されたファンデーションスタイルのECGエンコーダは、タスク、機関、デプロイメントコンテキストにまたがって再利用されるようになっている。 特定の個人またはコホートが、原波形や診断ラベルが公表されていない場合でも、プレトレーニングにECGデータを寄与したかどうかを、相手は推測できるだろうか? 本稿では,現代の自己管理型ECGファウンデーションエンコーダに対するメンバシップ推論攻撃の実施基盤監査について述べる。
  論文  参考訳（メタデータ） (2026-04-12T02:45:16Z)
• MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
  本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-02-19T05:20:31Z)
• Explainable LLM Unlearning Through Reasoning [23.128471655470793]
  これらの問題は、モデルがいつ、どのように解放されるべきかについて、明確なガイダンスがないことに起因する、と私たちは主張する。 本研究では,学習対象の特定範囲と学習後応答を満足する新たな未学習対象,推論に基づく未学習対象を提案する。 一般的な能力を維持しながら、より信頼性の高いアンラーニングを実現していることがわかった。
  論文  参考訳（メタデータ） (2026-02-08T06:33:07Z)
• UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
  ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。 これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。 本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:51:10Z)
• Source-Free Domain Adaptive Object Detection with Semantics Compensation [54.00183496587841]
  Weak-to-strong Semantics Compensation (WSCo)を導入する。 WSCoは、クラス関連セマンティクスを補う。 WSCoは一般的なプラグインとして実装することができ、既存のSFODパイプラインと容易に統合できます。
  論文  参考訳（メタデータ） (2024-10-07T23:32:06Z)
• Tuning-Free Accountable Intervention for LLM Deployment -- A Metacognitive Approach [55.613461060997004]
  大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。 我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T19:18:53Z)
• Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
  弱い監督下での映像異常検出は重大な課題を呈する。 本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。 提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-06-26T06:45:16Z)
• Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems [61.11799513362704]
  我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。 SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:07:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。