論文の概要: EngramEdit: Decoupled Knowledge Updates in LLMs through Conditional Memory
- arxiv url: http://arxiv.org/abs/2610.10533v1
- Date: Wed, 07 Oct 2026 17:58:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.100824
- Title: EngramEdit: Decoupled Knowledge Updates in LLMs through Conditional Memory
- Title（参考訳）: EngramEdit: 条件記憶によるLLMの知識更新の分離
- Abstract要約: DeepSeek Engramのような条件付きメモリアーキテクチャは、入力n-gramを使って学習した埋め込みを検索する。
本研究では,条件記憶による知識の分離更新のためのEngramEditを提案する。
本稿では,EngramEditにより,条件記憶による個別の事実知識更新が可能であり,ほぼ完全な編集が可能であることを示す。
- 参考スコア（独自算出の注目度）: 23.383745859536983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conditional memory architectures such as DeepSeek Engram use input n-grams to look up learned embeddings, expanding the capacity of large language models (LLMs) with limited additional computation. Beyond model scaling, this architecture has demonstrated the potential to decouple factual knowledge storage from general-purpose computation, offering a promising route to updating factual knowledge while keeping the Transformer backbone fixed. Realizing this potential is challenging because different expressions of a fact may activate different n-gram embeddings, while updating shared embeddings can unintentionally change the model's predictions about other facts. We propose EngramEdit for decoupled knowledge updates through conditional memory. EngramEdit first computes target memory representations that make the model predict the updated fact across multiple expressions. It then jointly updates the shared n-gram embeddings to match these targets across expressions and edits, penalizing updates to frequently reused embeddings more strongly to preserve unrelated knowledge. Experiments show that EngramEdit enables independent factual knowledge updates through conditional memory, achieving near-perfect editing success. Revised knowledge is usable across unseen expressions and in multi-hop reasoning, with nearly three times the strongest baseline's accuracy under chain-of-thought (CoT) prompting. Unrelated knowledge and general capabilities are largely preserved even as factual updates accumulate. These findings show that EngramEdit turns conditional memory into an editable knowledge interface, extending its role beyond model scaling to support decoupled knowledge updates.
- Abstract（参考訳）: DeepSeek Engramのような条件付きメモリアーキテクチャでは、入力n-gramを使用して学習した埋め込みを検索し、大きな言語モデル(LLM)のキャパシティを限定的な計算で拡張する。
モデルスケーリング以外にも、このアーキテクチャは、現実の知識ストレージを汎用的な計算から切り離し、トランスフォーマーのバックボーンを固定しながら事実の知識を更新する有望なルートを提供する可能性を実証している。
事実の異なる表現が異なるn-gram埋め込みを活性化する一方で、共有埋め込みを更新することは、他の事実に関するモデルの予測を意図せずに変更する可能性があるため、この可能性を実現することは難しい。
本研究では,条件記憶による知識の分離更新のためのEngramEditを提案する。
EngramEditはまずターゲットメモリ表現を計算し、モデルが複数の表現にわたって更新された事実を予測する。
その後、共有n-gram埋め込みを共同で更新し、これらのターゲットを式や編集で一致させ、頻繁に再利用される埋め込みに対する更新をペナルティ化し、無関係な知識を保存する。
実験により、EngramEditは条件記憶を通じて独立した事実知識更新を可能にし、ほぼ完璧な編集成功を達成できることが示された。
改訂された知識は、目に見えない表現やマルチホップ推論で利用でき、最も強いベースラインの精度はチェーン・オブ・ソート(CoT)の3倍近い。
無関係な知識と一般的な能力は、事実の更新が蓄積されたとしても、ほとんど保存される。
これらの結果から,EngramEditは条件付きメモリを編集可能なナレッジインターフェースに転換し,モデルスケーリングを超えて,非結合なナレッジ更新をサポートする役割を拡大した。
関連論文リスト
- AnyEdit: Edit Any Knowledge Encoded in Language Models [76.28789588247659]
大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。
長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。
UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
論文 参考訳（メタデータ） (2025-02-08T16:18:37Z) - WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。
更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。
記憶のギャップを埋めるためにWISEを提案する。
論文 参考訳（メタデータ） (2024-05-23T16:35:52Z) - Editing Factual Knowledge in Language Models [51.947280241185]
本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。
knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。
2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
論文 参考訳（メタデータ） (2021-04-16T15:24:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。