論文の概要: Measure, Don't Optimize: Forecasting Recovery in LLM Unlearning
- arxiv url: http://arxiv.org/abs/2608.11408v1
- Date: Tue, 11 Aug 2026 20:16:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.367266
- Title: Measure, Don't Optimize: Forecasting Recovery in LLM Unlearning
- Title（参考訳）: 計測, 最適化しない: LLMアンラーニングにおける予測回復
- Abstract要約: J-Accessは、モデル出力経路に沿ってターゲット概念がアクセス可能な頻度を測定する推論時監査である。
我々は8つの未学習手法にまたがる398の公開未学習モデルを監査する。
- 参考スコア（独自算出の注目度）: 57.920153607557744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prior white-box studies show that large language models can retain latent traces of target knowledge after unlearning, even when the knowledge is no longer expressed in their outputs. However, existing audits remain limited to one-off diagnostics: it is unclear whether these residual signals can predict future recovery under continued training or serve as reliable optimization targets. Resolving this gap is essential to determine whether internal auditing can move beyond post-hoc evaluation toward proactive risk monitoring and safer unlearning. We propose J-Access, an inference-time audit that uses the Jacobian lens to map intermediate representations into vocabulary space and measures how often target concepts remain accessible along the model's output pathway. We hypothesize that residual accessibility reflects recovery susceptibility: knowledge that remains closer to the output pathway requires less fine-tuning to restore, leading to faster recovery. We audit 398 public unlearned models spanning eight unlearning methods. We find that: (1) most unlearned models retain access above the retain-only gold level; (2) pre-attack accessibility predicts recovery speed and extent at the model level, but cannot identify which specific facts will be recovered; and (3) directly minimizing J-Access does not promote genuine deletion. Instead, the model learns to hide knowledge from the audit, producing lower audit scores but greater post-attack recovery. These findings position J-Access as a model-level diagnostic for assessing residual susceptibility in unlearned models. We argue internal audits should serve as an independent diagnostic dimension in unlearning evaluation, and should not be converted into optimization targets without validation.
- Abstract（参考訳）: 事前のホワイトボックス研究は、大きな言語モデルが学習後に目標知識の潜在的痕跡を保持できることを示し、たとえその知識が出力に表現されなくなったとしても。
しかし、既存の監査は1回限りの診断に限られており、これらの残留信号が継続トレーニング中の将来の回復を予測できるのか、信頼性の高い最適化目標として機能するのかは不明である。
このギャップを解決することは、内部監査がポストホック評価を超えて、積極的なリスク監視とより安全なアンラーニングに移行できるかどうかを決定するために不可欠である。
J-Accessはヤコビアンレンズを用いて中間表現を語彙空間にマッピングし、対象概念がモデル出力経路に沿ってどれだけ頻繁にアクセス可能であるかを測定する。
我々は、残余のアクセシビリティが回復の感受性を反映していると仮定する: 出力経路に近づき続ける知識は、回復のために微調整を少なくし、より高速に回復する。
我々は8つの未学習手法にまたがる398の公開未学習モデルを監査する。
その結果,(1)未学習のモデルでは,保持金レベル以上のアクセスを保ち,(2)攻撃前のアクセシビリティはモデルレベルでの回復速度と範囲を予測するが,どの特定の事実が復元されるかは特定できず,(3)J-Accessを直接最小化することは真の削除を助長しないことがわかった。
代わりに、モデルは監査から知識を隠すことを学び、低い監査スコアを生成するが、攻撃後の回復はより大きくする。
これらの結果から,J-Accessは未学習モデルにおける残留感受性を評価するためのモデルレベル診断として位置づけられた。
内部監査は、未学習評価において独立した診断次元として機能すべきであり、検証なしで最適化対象に変換すべきではない。
関連論文リスト
- Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。
ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
論文 参考訳（メタデータ） (2026-09-14T18:58:09Z) - SoK: Unlearnability and Unlearning for Model Dememorization [19.145486704492324]
本稿では,非学習性と非学習性を利用したモデル復号化手法の初回統合分析について述べる。
筆者らの貢献は3つある: (i) 未学習でスケーラブルな未学習の手法を統一した分類学; (ii) 先進的な手法の堅牢性、インタープレイ、浅い復号化を明らかにする実証的評価; (iii) 認定未学習で処理されたモデルの復号化深度に関する最初の理論的保証。
論文 参考訳（メタデータ） (2026-05-12T06:17:13Z) - REMIND: Input Loss Landscapes Reveal Residual Memorization in Post-Unlearning LLMs [0.1784233255402269]
機械学習は、モデルから特定のトレーニングデータの影響を、完全な再トレーニングを必要とせずに取り除くことを目的としている。
未学習データの微妙な残差を検出するための新しい評価手法であるREMINDを提案する。
未学習のデータは、より平坦で、より急なロスランドスケープをもたらす一方、保持または関連のないデータは、より鋭く、より揮発性のあるパターンを示す。
論文 参考訳（メタデータ） (2025-11-06T09:58:19Z) - Probing Knowledge Holes in Unlearned LLMs [23.377732810945172]
機械学習は、事前学習中に吸収された不要な知識を選択的に除去するための、一般的な技術的ソリューションとして登場した。
標準ベンチマークがキャプチャーに失敗する、意図しない無意識な知識の損失を、無学習が必然的に生み出す可能性があることに私たちは気付きました。
本稿では、未学習コンテンツのすぐ隣と潜在的な障害の幅広い領域の両方を探索するテストケース生成フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-27T03:11:53Z) - Reference-Specific Unlearning Metrics Can Hide the Truth: A Reality Check [60.77691669644931]
本研究では,非学習モデルと参照モデル間の分布類似度を測定する新しい尺度であるFADE(Functional Alignment for Distributional Equivalence)を提案する。
FADEは出力分布全体の機能的アライメントをキャプチャし、真の未学習の原則的評価を提供する。
これらの知見は、現在の評価実践における根本的なギャップを明らかにし、FADEが真に効果的な未学習手法を開発し評価するための、より堅牢な基盤を提供することを示した。
論文 参考訳（メタデータ） (2025-10-14T20:50:30Z) - Scalable and Robust LLM Unlearning by Correcting Responses with Retrieved Exclusions [49.55618517046225]
Webスケールのコーパスリスクを記憶し、センシティブな情報を暴露する言語モデル。
本稿では,新しいアンラーニングフレームワークであるCorrective Unlearning with Retrieved Exclusions (CURE)を提案する。
CUREは、リークのモデル出力を確認し、安全な応答に修正する。
論文 参考訳（メタデータ） (2025-09-30T09:07:45Z) - Unlearning That Lasts: Utility-Preserving, Robust, and Almost Irreversible Forgetting in LLMs [31.768387661474904]
大規模言語モデル(LLM)におけるアンラーニングでは、事前訓練されたモデルから特定の情報を正確に除去する。
これは、事前訓練中に取得した個人データや有害な知識を削除することで、LLMの安全性を確保するために重要である。
JensUnを導入し、Jensen-Shannon Divergenceをセットを忘れたり、保持したりするためのトレーニングの目的として活用する。
大規模な実験では、JensUnは競合するメソッドよりも忘れやすいトレードオフを実現し、再学習に強いレジリエンスを示しています。
論文 参考訳（メタデータ） (2025-09-02T20:38:53Z) - Existing Large Language Model Unlearning Evaluations Are Inconclusive [105.55899615056573]
いくつかの評価では、モデルにかなりの新しい情報を導入し、真の未学習のパフォーマンスを隠蔽する可能性があることを示す。
評価結果はタスクによって大きく異なることを示し、現在の評価ルーチンの一般化性を損なうことを示した。
今後の未学習評価には,情報注入の最小化とタスク認識のダウンストリームという2つの原則を提案する。
論文 参考訳（メタデータ） (2025-05-31T19:43:00Z) - Verifying Robust Unlearning: Probing Residual Knowledge in Unlearned Models [10.041289551532804]
本稿では,ロバスト・アンラーニングの概念を導入し,モデルの再学習と敵の回復に対する抵抗性を確実にする。
アンラーニング手法がこのセキュリティ基準を満たしているかどうかを実証的に評価するために,アンラーニングマッピング攻撃(UMA)を提案する。
UMAは、敵クエリを使って忘れられたトレースのモデルを積極的に探索する。
論文 参考訳（メタデータ） (2025-04-21T01:56:15Z) - Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。
評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
論文 参考訳（メタデータ） (2024-08-20T09:42:26Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。