論文の概要: Suppressed, Not Erased: A Representational Trace of Edited Facts Survives Even Weight-Free Knowledge Editing

• arxiv url: http://arxiv.org/abs/2609.18985v1
• Date: Fri, 17 Jul 2026 06:20:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.587509
• Title: Suppressed, Not Erased: A Representational Trace of Edited Facts Survives Even Weight-Free Knowledge Editing
• Title（参考訳）: 減らされたり、消されたりしない: 編集済みのファクトの表現的痕跡は、ウェイトフリーの知識編集でも生き残る
• Abstract要約: 線形トレースプローブを用いて残留知識を直接研究する。 事実を編集した後、モデルの隠された状態から元のオブジェクトがまだ回復可能かどうかを問う。 GPT-2-XLでは、3つのメカニカルに異なるエディタで、元のオブジェクトは編集が成功した後も、リニアにデオード可能のままである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Knowledge-editing benchmarks certify local correctness, whether an edited model produces the new fact on near-edit prompts but not how much of the original fact remains decodable inside the model. We study residual knowledge directly with a linear trace probe: after editing a fact, we ask whether the original object is still recoverable from the model's hidden states. On GPT-2-XL, across three mechanistically distinct editors applied to 50 CounterFact edits, the original object remains linearly decodable well above chance after a successful edit (probe accuracy 0.96 for ROME, 0.86 for constrained fine-tuning, and 0.79 for the memory-based editor GRACE, against a chance level of 0.50; all edits reach 100% generation-based success). The GRACE result is the most informative: GRACE changes zero base-model weights, overriding the fact through an external memory, yet the original object is still decodable from the underlying network, so the residual trace cannot be attributed to an incomplete weight update. We read this as evidence that editing, even when behaviorally successful, suppresses rather than erases the original association in representational space. We also report a relearning-savings instrument that did not behave reliably in our setting and discuss why; we treat it as a negative methodological result rather than evidence. Code and data are released.
• Abstract（参考訳）: 知識編集ベンチマークは、編集されたモデルが近編集のプロンプトで新しい事実を生成するかどうかをローカルの正当性を証明するが、オリジナルの事実のどれ程がモデル内にあるのかは証明しない。 我々は、線形トレースプローブを用いて、残留知識を直接研究し、事実を編集した後、モデルの隠れ状態から元のオブジェクトがまだ回復可能かどうかを問う。 GPT-2-XLでは、50のCounterFact編集に適用された3つのメカニカルに異なるエディタにまたがって、元のオブジェクトは編集が成功した後、リニアにデオード可能のままである(ROMEの精度0.96、制限された微調整0.86、メモリベースのエディタGRACEは0.50、全ての編集は100%世代ベースで成功する)。 GRACEはゼロベースモデルの重みを変更し、外部メモリを通して事実をオーバーライドするが、元のオブジェクトは基盤となるネットワークから切り離せないため、残余のトレースは不完全な重み更新によるものではない。 このことは、たとえ行動的に成功したとしても、表現空間における元の関連を消去するのではなく、編集が抑制する証拠として読み取れる。 また,我々の設定において確実に振る舞うことのできないリラーニング・セーブを報告し,その理由を議論する;証拠ではなく,否定的な方法論的な結果として扱う。 コードとデータはリリースされます。

関連論文リスト

• ALOE: Semantically Addressed Low-Rank Operators for Knowledge Editing [11.354623263879466]
  パラメトリックエディタはスコープを暗黙的にエンコードするが、メモリベースのエディタは選択を明示的にするが、編集モデルから外す。 パラフレーズやハードな同一オブジェクトの負からセマンティックアドレスを学習し、ロールアウト精製とゲートキャリブレーションにより自己回帰的隠蔽状態と整列し、結果として生じる低ランク演算子を1層に埋め込むALOEを提案する。
  論文  参考訳（メタデータ） (2026-09-24T09:08:49Z)
• The BatchNorm Illusion: Diagnosing Normalization Artifacts in Machine Unlearning Evaluation [8.644777648927427]
  我々は、BatchNormベースのアーキテクチャでアンラーニングがどのように評価されるか、これまで文書化されていなかったコンファウンドを特定した。 我々は、この演算を重み保存された固定点演算子として定式化し、それが引き起こす逆ポストギャップがBN実行統計に起因することを証明した。
  論文  参考訳（メタデータ） (2026-09-08T15:39:10Z)
• HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing [12.303016850029683]
  大規模言語モデルは、展開後に必然的に時代遅れになる膨大な事実知識を符号化する。 1行の作業は、ロケーション・then-edit手順を通じてベースウェイトを直接変更することで、新しい事実をインストールする。 補完ラインはベースウェイトをそのまま残し、外部メモリを通して編集をルーティングするが、ルーティングの課題に直面している。 提案するHoReNは,3つのアイデアに基づいたルーティング機能を備えたコードブックベースのエディタである。
  論文  参考訳（メタデータ） (2026-05-02T15:51:31Z)
• Is Model Editing Built on Sand? Revealing Its Illusory Success and Fragile Foundation [50.40861036534546]
  大きな言語モデル(LLM)は、必然的に時代遅れまたは誤った知識をエンコードする。そのような知識の更新、削除、そして忘れは、アライメント、安全性、その他の問題にとって重要である。 この問題を解決するために、モデル編集は有望なパラダイムとして現れ、特定の事実が更新され、他の知識を保持しながら、パラメータの小さなサブセットを正確に編集する。 前回の論文で大きな成功を収めたにもかかわらず、編集の信頼性は脆弱な基盤にかかっていることが判明した。 我々の経験的証拠は、編集が完全な意味論よりもショートカットに基づく可能性が高いことを示し、さらなる進歩の前にモデル編集の基盤を急激な再考を求める。
  論文  参考訳（メタデータ） (2025-10-01T07:59:23Z)
• Tracing and Reversing Rank-One Model Edits [5.260519479124422]
  本研究は,Ran-One Model Editing (ROME) 手法に着目し,知識編集のトレーサビリティと可逆性について考察する。 ROMEは, 編集重量行列に特徴的な分布パターンを導入し, 編集重量の探索に有効な信号として機能することを示す。 本稿では,編集プロンプトにアクセスすることなく,修正重みから直接編集対象エンティティを推定し,95%以上の精度を実現する方法を提案する。
  論文  参考訳（メタデータ） (2025-05-27T07:27:01Z)
• The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
  我々は、広く使われている質問応答(QA)データセットに対応する新しいベンチマークであるQAEditと、タスクに依存しない評価フレームワークであるWILDを紹介する。 単一の編集実験により、現在行われている編集手法は、以前報告したよりもかなり悪い結果が得られた。
  論文  参考訳（メタデータ） (2025-02-16T15:57:55Z)
• WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
  大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。 更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。 記憶のギャップを埋めるためにWISEを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:35:52Z)
• Does Localization Inform Editing? Surprising Differences in Causality-Based Localization vs. Knowledge Editing in Language Models [68.03946716358335]
  既存の方法と異なる位置にある重みを編集することで、その事実をモデルに格納する方法を変えることができる。 特定のモデルパラメータに事実をローカライズすることで、モデル内の知識を操作する場所がわかると期待しているからです。 我々の結果は、事前訓練された言語モデルがどのように機能するかのより優れた機械的理解が、必ずしも行動の最良の変更方法に関する洞察に結びつくとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2023-01-10T21:26:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。