論文の概要: RA$^2$: Retain-Anchored Attraction Preserves Forget-Adjacent Utility in LLM Unlearning
- arxiv url: http://arxiv.org/abs/2610.19385v1
- Date: Wed, 14 Oct 2026 01:31:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.884794
- Title: RA$^2$: Retain-Anchored Attraction Preserves Forget-Adjacent Utility in LLM Unlearning
- Title（参考訳）: RA$^2$: Retain-Anchored Attraction Preserves forget-Adjacent Utility in LLM Unlearning
- Abstract要約: そこで本稿では, 近接した保持型表現に対して, 記憶状態のリダイレクトを行う潜在空間アンラーニング手法を提案する。
WMDP と MUSE では、RA$2$ は、同様の幅広いユーティリティレベルでの強力な未学習ベースラインよりも、忘れやすいユーティリティが高い。
- 参考スコア（独自算出の注目度）: 12.65540891214917
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Model (LLM) unlearning is often evaluated primarily by target suppression and clean retain utility. These metrics can miss a local failure mode: a model may perform well on standard retain prompts, yet degrade on benign reasoning when prompts lie near the forgotten domain. This phenomenon is termed forget-adjacent utility loss. A fundamental question is: where should forget representations go after they leave the removed behavior? Successful unlearning depends not only on whether forget-conditioned representations depart from the harmful computation, but also on the direction in which they are redirected afterward. We propose RA$^2$ (Retain-Anchored Attraction), a latent-space unlearning method that redirects forget-token states toward nearby retain-supported representations while preserving higher-layer behavior on retain data. On WMDP and MUSE, RA$^2$ yields higher forget-adjacent utility than strong unlearning baselines at similar broad-utility levels. These results show that the migration direction of forget representations materially affects benign behavior near the forget boundary. Our code is available at https://github.com/ZacLing/retain_anchored_attraction.
- Abstract（参考訳）: 大規模言語モデル(LLM)の未学習は、主に目標抑圧とクリーン保持ユーティリティによって評価されることが多い。
モデルは標準保持プロンプトでうまく機能するが、忘れられたドメインの近くにプロンプトがある場合、良心的な推論で劣化する。
この現象は「忘れがちなユーティリティ損失」と呼ばれる。
根本的な疑問は、表現が削除された振る舞いを残した後、どこに行くべきか、ということです。
未学習の成功は、忘れた条件の表現が有害な計算から外れるかどうかだけでなく、後からリダイレクトされる方向にも依存する。
本研究では,保持データに高層動作を保ちながら,その近傍の保持支持表現にリダイレクトする潜在空間アンラーニング手法であるRA$^2$(Retain-Anchored Attraction)を提案する。
WMDP と MUSE では、RA$^2$ は、同様の幅広いユーティリティレベルでの強力な未学習ベースラインよりも、忘れやすいユーティリティが高い。
これらの結果から, 忘れ表現の移動方向は, 忘れ境界付近の良性行動に実質的に影響を及ぼすことが示された。
私たちのコードはhttps://github.com/ZacLing/retain_anchored_attractionで利用可能です。
関連論文リスト
- Unmerge: Efficient Machine Unlearning via Task Arithmetic [12.213164906982668]
近似マシンアンラーニングは、完全に再トレーニングすることなく、トレーニングされたモデルから忘れられたセットの影響を取り除くことを目指している。
我々はタスク算術のレンズを通してアンラーニングをリキャストする。
我々は3つの直感的な目標(分割ベクトルを分割し、保持空間へのリークを抑え、補正サイズを限定する)を最適化する。
論文 参考訳（メタデータ） (2026-09-30T03:41:21Z) - Distance Is Not Enough: Forget-Retain Alignment Gap Predicts LLM Relearning Robustness [9.836012586431522]
機械学習は、モデルを特定のデータを忘れることを目的としていますが、未学習のLLMは、しばしば未学習のままでいられません。
私たちは、再学習は更新構造に依存している、と論じています。
我々は、リラーニングアタックを実行せずに更新のリセットアライメントをスコアするトレーニング不要な予測器であるForget-Retain Alignment Gap (FRAG)を紹介した。
論文 参考訳（メタデータ） (2026-08-26T06:39:49Z) - SCOPE: Entanglement Frontier Escape for Source-Free Class Unlearning [6.039098328985986]
ソースフリークラス アンラーニングは、表現レベルで判断される左折データのみを使用してクラス全体を消去する。
我々は、この緊張がフロンティアであることを証明している。削除する固定された投影は、少なくとも、左の区別された部分空間に沿って、保持されるエネルギーの保留コストを支払う。
論文 参考訳（メタデータ） (2026-08-03T10:56:46Z) - Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。
MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
論文 参考訳（メタデータ） (2026-06-01T21:49:54Z) - How Hard Can It Be? Hardness-Aware Multi-Objective Unlearning [75.97729821186815]
機械学習は、プライバシー、著作権、バイアスの懸念による特定の忘れられたトレーニングデータの影響を取り除くことを目的としている。
我々は,品質の特定の改善を保証することを目的として,未学習のアルゴリズムを導出する。
私たちの硬度測定は、ユーティリティの劣化が避けられない場合にユーザーに通知します。
論文 参考訳（メタデータ） (2026-06-01T11:49:47Z) - SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion [39.17638540496959]
SHRED (Self-distillation via High-surprisal-only Retain-free Entropy Demotion) は、キーインサイトに基づいて構築された、保持セットなしのアンラーニング手法である。
高情報トークンはモデルの記憶された知識に集中し、低情報トークンは一般的な言語能力を反映する。
SHREDは再学習攻撃やメンバシップ推論攻撃に対して堅牢であり、連続的なアンラーニングの実行が多数あった後も安定したユーティリティを維持している。
論文 参考訳（メタデータ） (2026-05-08T09:25:18Z) - From Logits to Latents: Contrastive Representation Shaping for LLM Unlearning [13.726373414710137]
私たちはCLRegという表現正規化ツールを導入しました。
表現の整形と絡み合いの低減を関連づける第1の理論的洞察を提供する。
CLRegは、プライバシのリスクを余分に課すことなく、主流のアンラーニングメソッドを容易にする、忘れがちな表現の絡みを減少させる。
論文 参考訳（メタデータ） (2026-01-29T17:34:37Z) - Geometric-Disentangelment Unlearning [106.99160454669902]
忘れたサンプルへの勾配は しばしば 保持された知識を傷つける
本稿では,GU(Geometric-disment Unlearning)を提案する。
本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
論文 参考訳（メタデータ） (2025-11-21T09:58:25Z) - LLM Unlearning on Noisy Forget Sets: A Study of Incomplete, Rewritten, and Watermarked Data [69.5099112089508]
大規模言語モデル(LLM)は、顕著な生成能力を示すが、機密データを記憶することで倫理的およびセキュリティ上の懸念を引き起こす。
この研究は、ノイズのある忘れセットと呼ばれる、摂動的または低忠実な忘れデータの下での未学習に関する最初の研究を提示する。
コアセマンティック信号が保存されている場合、未学習は摂動に対して驚くほど堅牢である。
論文 参考訳（メタデータ） (2025-10-10T05:10:49Z) - Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。
確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。
TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
論文 参考訳（メタデータ） (2025-02-27T11:03:33Z) - Simple linear attention language models balance the recall-throughput tradeoff [60.06020449520365]
線形およびすべり窓の注意を結合したシンプルなアーキテクチャであるBASEDを提案する。
我々は、最大1.3bパラメータの言語モデルをトレーニングし、BASEDがパープレキシティにおいて最強のサブクワッドラティックモデルと一致し、実世界のリコール集約タスクにおいて6.22の精度ポイントでそれらのモデルを上回っていることを示す。
論文 参考訳（メタデータ） (2024-02-28T19:28:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。