論文の概要: Can LLMs Truly Forget? Revealing Unlearning Gaps Through Adversarial Evaluation
- arxiv url: http://arxiv.org/abs/2608.21606v1
- Date: Fri, 21 Aug 2026 20:19:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.300179
- Title: Can LLMs Truly Forget? Revealing Unlearning Gaps Through Adversarial Evaluation
- Title（参考訳）: LLMは本当に忘れられるのか? 敵対的評価による未学習のギャップの発見
- Abstract要約: 機械学習の目的は、対象とするトレーニングデータの影響をモデルから取り除き、残りの能力を維持することだ。
忘れているように見える情報が、戦略的なプロンプトによってまだ回収できるかどうかを評価する。
以上の結果から,クリーンクエリの忘れやすさと敵の堅牢性の間には,かなりのギャップがあることが明らかとなった。
- 参考スコア（独自算出の注目度）: 1.6454653507226797
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning aims to remove the influence of targeted training data from a model while preserving its remaining capabilities, but evaluating whether such information has truly become inaccessible remains challenging. Existing benchmarks primarily assess unlearning under clean, non-adversarial queries, leaving open whether information that appears forgotten can still be recovered through strategic prompting. We address this gap through a unified evaluation of prompt-based and fine-tuning-based unlearning methods on TOFU using Llama-3.2-3B-Instruct, followed by an adversarial robustness evaluation of methods that perform strongly under standard metrics. We introduce Attack Success Rate (ASR), an LLM-as-judge metric that measures the fraction of adversarial responses whose leakage score exceeds $0.2$, and evaluate recovery across eight attack suites. Our results reveal a substantial gap between clean-query forgetting and adversarial robustness. Although several fine-tuning-based methods achieve Forget Quality above $0.91$, targeted information remains recoverable with ASRs between $72.8\%$ and $84.3\%$, close to the $87.5\%$ ASR of the unprotected base model. In contrast, clean multilingual reformulations yield only $2.95\%$ measured leakage. A manual audit further finds agreement between binary ASR decisions and human factual assessments in seven of ten cases, indicating that ASR provides a useful, though imperfect, signal of behavioral recoverability. These findings show that strong standard-metric performance alone is insufficient to establish robustness after unlearning and motivate adversarial stress-testing as a complementary component of unlearning evaluation.
- Abstract（参考訳）: 機械学習の目的は、モデルから対象とするトレーニングデータの影響を排除し、残りの能力を保ちながら、そのような情報が本当にアクセス不能になったかどうかを評価することである。
既存のベンチマークでは、クリーンで非敵対的なクエリの下での未学習を主に評価し、忘れられたように見える情報が戦略的なプロンプトによってまだ回収できるかどうかを公開している。
Llama-3.2-3B-Instruct を用いた TOFU 上でのプロンプトベースおよび微調整ベースのアンラーニング手法の統一的評価と,標準基準で強く機能する手法の対角的ロバスト性評価により,このギャップに対処する。
攻撃成功率 (ASR) は, リークスコアが0.2ドルを超える敵の応答の分数を測定し, 8つの攻撃スイートの回復率を評価する。
以上の結果から,クリーンクリーニングと対向ロバスト性の間には大きなギャップがあることが判明した。
いくつかの微調整ベースの手法は Forget Quality を0.91ドル以上で達成しているが、ターゲットとなる情報は、保護されていないベースモデルの ASR に近く、72.8セントから84.3セントの ASR で回復可能である。
対照的に、クリーンな多言語変換は2.95 %の値のリークしか得られない。
手動による監査では、10例中7例において、バイナリASR決定と人間の事実評価との間の合意がさらに見出され、ASRが有用だが不完全な行動回復のシグナルを提供することを示している。
これらの結果から,非学習後の強健性の確立と,非学習評価の相補的要素としての対人ストレステストの動機付けが不十分であることが示唆された。
関連論文リスト
- Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。
ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
論文 参考訳（メタデータ） (2026-09-14T18:58:09Z) - Measure, Don't Optimize: Forecasting Recovery in LLM Unlearning [57.920153607557744]
J-Accessは、モデル出力経路に沿ってターゲット概念がアクセス可能な頻度を測定する推論時監査である。
我々は8つの未学習手法にまたがる398の公開未学習モデルを監査する。
論文 参考訳（メタデータ） (2026-08-11T20:16:20Z) - Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models [23.51933427959403]
そこで本研究では,ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグナグニグナグニグナグニグニグナグニグナグナグニグ
また、アンコール型正規化による選択的保護を提案し、アンカー型アクティベーションフィルタリングにより一般的なパターンを保護する。
SafeEraserの実験では,標準ベースラインの50%以下に比べ,SPARがバニラ応答品質の98%以上を回復することが示された。
論文 参考訳（メタデータ） (2026-08-03T07:57:34Z) - LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning [30.67510673327925]
LACUNA は,基礎的パラメータレベルのローカライゼーションを用いた最初の未学習テストベッドである。
LACUNAは攻撃に対する強い消去と堅牢性を達成し、正確な未学習の重要性を強調した。
論文 参考訳（メタデータ） (2026-07-02T17:59:52Z) - Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。
RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。
複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2026-05-12T20:46:05Z) - Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。
MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。
我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
論文 参考訳（メタデータ） (2026-04-13T15:18:51Z) - Adversarial Question Answering Robustness: A Multi-Level Error Analysis and Mitigation Study [0.0]
質問応答(QA)システムは、SQuADのような標準ベンチマークで印象的なパフォーマンスを達成するが、敵の例には弱いままである。
本研究は,AddSent逆数データセット上での変圧器モデルの逆数ロバスト性について検討する。
論文 参考訳（メタデータ） (2026-01-06T04:20:33Z) - REMIND: Input Loss Landscapes Reveal Residual Memorization in Post-Unlearning LLMs [0.1784233255402269]
機械学習は、モデルから特定のトレーニングデータの影響を、完全な再トレーニングを必要とせずに取り除くことを目的としている。
未学習データの微妙な残差を検出するための新しい評価手法であるREMINDを提案する。
未学習のデータは、より平坦で、より急なロスランドスケープをもたらす一方、保持または関連のないデータは、より鋭く、より揮発性のあるパターンを示す。
論文 参考訳（メタデータ） (2025-11-06T09:58:19Z) - Confidence as a Reward: Transforming LLMs into Reward Models [54.98336080630691]
Confidence-as-a-Reward (CRew) は、モデルの最終回答に対するトークンレベルの信頼を報酬のプロキシとして利用する、トレーニング不要の手法である。
CRew は MATH500 および RewardMATH ベンチマークにおいて,既存のトレーニングフリー報酬手法よりも優れていることを示す。
本稿では,信頼度スコアと正当性信号を組み合わせた選好データを構成する訓練戦略であるCRew-DPOを提案する。
論文 参考訳（メタデータ） (2025-10-15T12:51:47Z) - BLUR: A Benchmark for LLM Unlearning Robust to Forget-Retain Overlap [18.68387394444096]
機械学習は、大規模な言語モデル(LLM)の安全性を向上させる可能性を秘めている。
非学習における鍵となる課題は、忘れられた品質(事実上望ましくない情報)のバランスをとることと、品質を維持すること(他の一般的なタスクにおいて優れたパフォーマンスを維持すること)である。
LLM アンラーニングのためのベンチマークである $textttBLUR$ を提示する。
論文 参考訳（メタデータ） (2025-05-28T22:09:04Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z) - Outlier Robust Adversarial Training [57.06824365801612]
本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。
ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。
ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
論文 参考訳（メタデータ） (2023-09-10T21:36:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。