論文の概要: MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs

• arxiv url: http://arxiv.org/abs/2506.07899v1
• Date: Mon, 09 Jun 2025 16:16:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.039842
• Title: MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs
• Title（参考訳）: MEMOIR: LLMの最小上書きとインフォームド保持による生涯モデル編集
• Authors: Ke Wang, Yiming Qin, Nikolaos Dimitriadis, Alessandro Favero, Pascal Frossard,
• Abstract要約: 寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 残メモリを介して知識を注入する新しいスケーラブルなフレームワークであるMEMOIRを提案する。 MeMOIRは各編集をメモリパラメータの別のサブセットに限定し、編集間の干渉を最小限にする。
• 参考スコア（独自算出の注目度）: 82.34547399693966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models deployed in real-world systems often require post-hoc updates to incorporate new or corrected knowledge. However, editing such models efficiently and reliably - without retraining or forgetting previous information - remains a major challenge. Existing methods for lifelong model editing either compromise generalization, interfere with past edits, or fail to scale to long editing sequences. We propose MEMOIR, a novel scalable framework that injects knowledge through a residual memory, i.e., a dedicated parameter module, while preserving the core capabilities of the pre-trained model. By sparsifying input activations through sample-dependent masks, MEMOIR confines each edit to a distinct subset of the memory parameters, minimizing interference among edits. At inference, it identifies relevant edits by comparing the sparse activation patterns of new queries to those stored during editing. This enables generalization to rephrased queries by activating only the relevant knowledge while suppressing unnecessary memory activation for unrelated prompts. Experiments on question answering, hallucination correction, and out-of-distribution generalization benchmarks across LLaMA-3 and Mistral demonstrate that MEMOIR achieves state-of-the-art performance across reliability, generalization, and locality metrics, scaling to thousands of sequential edits with minimal forgetting.
• Abstract（参考訳）: 現実のシステムにデプロイされる言語モデルは、新しい知識や修正された知識を組み込むために、ポストホックな更新を必要とすることが多い。 しかし、そのようなモデルを効率的かつ確実に編集することは、以前の情報を再訓練したり忘れたりすることなく、大きな課題である。 生涯モデル編集の既存の方法は、一般化を妥協するか、過去の編集を妨害するか、長い編集シーケンスにスケールできないかのいずれかである。 我々は,学習済みモデルのコア機能を保ちながら,メモリ残量,すなわち専用パラメータモジュールを通じて知識を注入する,新しいスケーラブルなフレームワークであるMEMOIRを提案する。 サンプル依存マスクによる入力アクティベーションのスペーシングにより、MEMOIRは各編集をメモリパラメータの別のサブセットに限定し、編集間の干渉を最小限にする。 推測では、新しいクエリのスパースアクティベーションパターンと編集中に格納されたクエリを比較して、関連する編集を識別する。 これにより、関連する知識のみを活性化し、無関係なプロンプトに対する不必要なメモリアクティベーションを抑えることで、クエリを一般化することができる。 LLaMA-3 と Mistral での質問応答、幻覚補正、分布外一般化ベンチマークの実験は、MEMOIR が信頼性、一般化、ローカリティのメトリクスにわたって最先端のパフォーマンスを達成し、最小限の忘れを伴って数千のシーケンシャルな編集にスケールできることを実証している。

関連論文リスト

• Constraining Sequential Model Editing with Editing Anchor Compression [40.93064933191375]
  大型言語モデル(LLM)は、誤った知識や時代遅れの知識によって幻覚に苦しむ。 本稿では, 編集後のパラメータ行列が, 編集数の増加に伴って, 以前の状態と大きくずれていることを統計的に観察する。 逐次的編集におけるパラメータ行列の偏差を抑制するため,EAC (Editing Anchor Compression) というフレームワークが提案されている。
  論文  参考訳（メタデータ） (2025-02-25T03:56:49Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
  大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。 更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。 記憶のギャップを埋めるためにWISEを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:35:52Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。