論文の概要: ShadowBench: Exposing Lexical Anchoring and the Illusion of Forgetting in Large Language Models
- arxiv url: http://arxiv.org/abs/2611.15925v1
- Date: Wed, 11 Nov 2026 19:19:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.261602
- Title: ShadowBench: Exposing Lexical Anchoring and the Illusion of Forgetting in Large Language Models
- Title(参考訳): ShadowBench: 語彙アンカリングと大規模言語モデルにおける予測のイライラ
- Abstract要約: LLM(Large Language)は、現在の評価パラダイムは、ほとんど明示的なエンティティ名にのみ依存している。
モデルには膨大な事実情報があるが、明示的な名前トークンを使わずに検索することが極めて困難であることを示す。
シャドウベンチを機械学習に適用すると、最先端のアルゴリズムは表面的消去のみを達成する。
未学習のモデルは直接クエリではフェールしますが、私たちの新しいエンティティリークレートメトリックでは、一般的なエンティティでは、モデルは「忘れられた」エンティティを明示的に再構築します。
- 参考スコア(独自算出の注目度): 3.5753564877018635
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large Language Models (LLMs) have emerged as primary interfaces for factual retrieval, yet current evaluation paradigms rely almost exclusively on explicit entity names. In this work, we demonstrate that LLM knowledge is fundamentally lexically anchored: models possess extensive factual information but find it significantly difficult to retrieve without explicit name tokens. To quantify this limitation, we introduce ShadowBench, a rigorously hardened, shortcut-resistant benchmark designed to evaluate Latent Entity Association via a novel Dual-Trait Association (DTA) task. Our evaluation reveals a pervasive "Shadow Gap" across all model scales$\unicode{x2013}$up to the frontier models GPT-5.4 and Claude-Sonnet-4.6$\unicode{x2013}$where removing lexical anchors causes performance drops of over 20%. Furthermore, we demonstrate that this lexical dependency exposes a critical vulnerability in AI safety. Applying ShadowBench to Machine Unlearning, we find that state-of-the-art algorithms (e.g., Gradient Difference, NPO) achieve only superficial lexical erasure. While unlearned models fail on direct queries, our novel Latent Entity Leakage Rate (LELR) metric reveals that for popular entities, models explicitly reconstruct the "forgotten" entity in their internal reasoning traces in over 74% of cases, utilizing residual shadow knowledge to solve associative tasks. Conversely, for niche entities, models retain high shadow accuracy (60-90%) via implicit attribute correlation despite 0% LELR. Ultimately, ShadowBench indicates that current unlearning paradigms create an "Illusion of Forgetting," demonstrating that existing methods act as superficial output filters and are not yet reliable for achieving true parametric erasure.
- Abstract(参考訳): 大規模言語モデル(LLM)は、事実検索の主要なインターフェースとして登場したが、現在の評価パラダイムはほとんど明示的なエンティティ名に依存している。
本研究では,LLMの知識が基本的に語彙的に固定されていることを実証する。
この制限を定量化するために、新しいDual-Trait Association(DTA)タスクを通じてLatent Entity Associationを評価するために設計された、厳格に硬化したショートカット耐性ベンチマークであるShadowBenchを紹介する。
GPT-5.4およびClaude-Sonnet-4.6$\unicode{x2013}$ ここでは、語彙アンカーの除去が20%以上の性能低下を引き起こす。
さらに、この語彙依存がAI安全性の重大な脆弱性を明らかにする。
シャドウベンチを機械学習に適用すると、最先端のアルゴリズム(例えば、グラディエント差分、NPO)が表面的語彙消去のみを達成することが分かる。
未学習のモデルは直接クエリではフェールするが、私たちの新しいLatent Entity Leakage Rate (LELR)メトリックは、一般的なエンティティでは、モデルが内部の推論トレースで「忘れられた」エンティティを74%以上のケースで明示的に再構築し、後続のシャドウ知識を利用して連想的なタスクを解決していることを示している。
逆にニッチエンティティでは、0%のLELRにもかかわらず、暗黙の属性相関によって、高いシャドウ精度(60-90%)を維持している。
最終的にShadowBench氏は、現在の未学習のパラダイムは、既存のメソッドが表面的な出力フィルタとして機能し、真のパラメトリック消去を達成するための信頼性がまだ低いことを示している。
関連論文リスト
- Do LLMs Really Forget? Hidden-State Leakage in Model Unlearning and How to Fix it [18.074391380273262]
出力レベルのリークを除去しても、機密情報がモデルに隠された表現に符号化されることが示される。
本研究では,隠蔽表現から抽出可能な情報を対角的に最小化する未学習目的である Probe-Adversarial Suppression (PARS) を提案する。
論文 参考訳(メタデータ) (2026-09-29T03:26:55Z) - Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models [23.51933427959403]
そこで本研究では,ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグナグニグナグニグナグニグニグナグニグナグナグニグ
また、アンコール型正規化による選択的保護を提案し、アンカー型アクティベーションフィルタリングにより一般的なパターンを保護する。
SafeEraserの実験では,標準ベースラインの50%以下に比べ,SPARがバニラ応答品質の98%以上を回復することが示された。
論文 参考訳(メタデータ) (2026-08-03T07:57:34Z) - LTD-Bench: Evaluating Large Language Models by Letting Them Draw [57.237152905238084]
LTD-Benchは、大規模言語モデル(LLM)のブレークスルーベンチマークである。
LLMの評価を抽象的なスコアから直接観察可能な視覚出力に変換する。
LTD-Benchの視覚出力は強力な診断分析を可能にし、モデル類似性を調べるための潜在的アプローチを提供する。
論文 参考訳(メタデータ) (2025-11-04T08:11:23Z) - LLM Unlearning on Noisy Forget Sets: A Study of Incomplete, Rewritten, and Watermarked Data [69.5099112089508]
大規模言語モデル(LLM)は、顕著な生成能力を示すが、機密データを記憶することで倫理的およびセキュリティ上の懸念を引き起こす。
この研究は、ノイズのある忘れセットと呼ばれる、摂動的または低忠実な忘れデータの下での未学習に関する最初の研究を提示する。
コアセマンティック信号が保存されている場合、未学習は摂動に対して驚くほど堅牢である。
論文 参考訳(メタデータ) (2025-10-10T05:10:49Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳(メタデータ) (2025-10-02T02:14:33Z) - Can Reasoning Help Large Language Models Capture Human Annotator Disagreement? [84.32752330104775]
ヒトのアノテーションの変化(つまり不一致)は、NLPでは一般的である。
異なる推論条件が大言語モデルの不一致モデルに与える影響を評価する。
意外なことに、RLVRスタイルの推論は不一致モデリングにおいて性能を低下させる。
論文 参考訳(メタデータ) (2025-06-24T09:49:26Z) - Unlearning Isn't Deletion: Investigating Reversibility of Machine Unlearning in LLMs [38.837810490068556]
大規模言語モデル(LLM)におけるアンラーニングは、指定されたデータを削除することを目的としているが、その効果は通常、正確性や複雑度のようなタスクレベルのメトリクスで評価される。
最小限の微調整によって元の動作が容易に復元される間、モデルは忘れることができることを実証する。
この表現可能性の現象は、情報は単に抑圧されているだけであり、真に消去されていないことを示唆している。
論文 参考訳(メタデータ) (2025-05-22T16:02:10Z) - Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。
確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。
TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
論文 参考訳(メタデータ) (2025-02-27T11:03:33Z) - IdentifyMe: A Challenging Long-Context Mention Resolution Benchmark for LLMs [22.238377215355545]
IdentifyMeは、Multiple-choice question (MCQ)形式で提示された参照解決のための新しいベンチマークである。
我々は,最先端のサブ10Bオープンモデルとクローズドモデルとの顕著な性能差を観察する。
最も高いスコア付けモデルであるGPT-4oは81.9%の精度を実現し、最先端のLCMの強力な参照能力を強調している。
論文 参考訳(メタデータ) (2024-11-12T01:05:55Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。