論文の概要: Edit Less, Achieve More: Dynamic Sparse Neuron Masking for Lifelong Knowledge Editing in LLMs

• arxiv url: http://arxiv.org/abs/2510.22139v1
• Date: Sat, 25 Oct 2025 03:22:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.497956
• Title: Edit Less, Achieve More: Dynamic Sparse Neuron Masking for Lifelong Knowledge Editing in LLMs
• Title（参考訳）: LLMの生涯的知識編集のためのダイナミックスパースニューロンマスキング
• Authors: Jinzhe Liu, Junshu Sun, Shufan Shen, Chenxue Yang, Shuhui Wang,
• Abstract要約: 生涯の知識編集は、大規模言語モデルにおける時代遅れの知識の継続的かつ正確な更新を可能にする。 既存の手法は編集プロセス全体でエラーを蓄積し、編集精度と一般化の段階的に低下する。 我々は,ニューロンレベルの属性とダイナミックスパースマスキングを組み合わせた,新しい微粒化編集フレームワークであるNeuron-Specific Masked Knowledge Editing (NMKE)を提案する。
• 参考スコア（独自算出の注目度）: 36.853517310782344
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Lifelong knowledge editing enables continuous, precise updates to outdated knowledge in large language models (LLMs) without computationally expensive full retraining. However, existing methods often accumulate errors throughout the editing process, causing a gradual decline in both editing accuracy and generalization. To tackle this problem, we propose Neuron-Specific Masked Knowledge Editing (NMKE), a novel fine-grained editing framework that combines neuron-level attribution with dynamic sparse masking. Leveraging neuron functional attribution, we identify two key types of knowledge neurons, with knowledge-general neurons activating consistently across prompts and knowledge-specific neurons activating to specific prompts. NMKE further introduces an entropy-guided dynamic sparse mask, locating relevant neurons to the target knowledge. This strategy enables precise neuron-level knowledge editing with fewer parameter modifications. Experimental results from thousands of sequential edits demonstrate that NMKE outperforms existing methods in maintaining high editing success rates and preserving model general capabilities in lifelong editing.
• Abstract（参考訳）: 生涯の知識編集は、計算コストのかかるフルリトレーニングなしで、大規模言語モデル(LLM)における時代遅れの知識の継続的かつ正確な更新を可能にする。 しかし、既存の手法は編集プロセス全体でエラーを蓄積することが多く、編集精度と一般化の両方が徐々に低下する。 この問題に対処するために,ニューロンレベルの属性とダイナミックスパースマスキングを組み合わせた,新しい微粒化編集フレームワークであるNeuron-Specific Masked Knowledge Editing (NMKE)を提案する。 ニューロンの機能的属性を活用することで、特定のプロンプトに作用する知識一般ニューロンと、特定のプロンプトに作用する知識固有ニューロンの2つの重要な種類の知識ニューロンを同定する。 NMKEはさらにエントロピー誘導のダイナミックスパースマスクを導入し、関連するニューロンを標的の知識に配置する。 この戦略により、より少ないパラメータ修正で正確なニューロンレベルの知識編集が可能になる。 何千もの逐次編集による実験結果から、NMKEは、高い編集成功率を維持し、生涯編集におけるモデル一般能力を保ちながら、既存の方法よりも優れていることが示された。

関連論文リスト

• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• Precise Localization of Memories: A Fine-grained Neuron-level Knowledge Editing Technique for LLMs [47.06544781855325]
  本研究では、成功率に影響を与えることなく、局所性を改善するための微粒なニューロンレベルの知識編集(FiNE)手法を提案する。 フィードフォワードネットワーク内の特定のニューロンを正確に識別し、修正することにより、FiNEは知識のローカライゼーションと編集を大幅に改善する。
  論文  参考訳（メタデータ） (2025-03-03T01:30:28Z)
• GeoEdit: Geometric Knowledge Editing for Large Language Models [52.37408324849593]
  大規模言語モデル(LLM)における最新の知識を維持するためには、定期的な更新が不可欠である。 幾何学的知識編集(GeoEdit)と呼ばれる新しいフレームワークを提案する。 GeoEditは、新しい知識更新に関連するニューロンと、一般的な知識摂動に関連するニューロンを区別する。 残りのニューロンに対しては、整列方向の古知識と新知識を統合し、反対方向の「forget-then-learn」編集戦略を適用した。
  論文  参考訳（メタデータ） (2025-02-27T10:27:48Z)
• Knowledge Editing for Large Language Model with Knowledge Neuronal Ensemble [13.608354678065222]
  我々は知識神経アンサンブル(KNE)と呼ばれる新しい知識編集手法を提案する。 知識ニューロンアンサンブルは、特定の知識をコードするニューロンのグループを表しており、頻繁なパラメータ修正の問題を軽減する。 3つの広く使われている知識編集データセットの実験結果から,KNE法は知識編集の精度を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-12-30T00:58:00Z)
• MEMLA: Enhancing Multilingual Knowledge Editing with Neuron-Masked Low-Rank Adaptation [18.087144677674786]
  我々は多言語知識編集(MKE)に重点を置いており、複数の言語にまたがる更新の伝播が必要である。 12言語からなる新しいデータセットであるMKEB(Multilingual Knowledge Editing Benchmark)を紹介する。 また,ニューロンマスト型低ランク適応(MEMLA)による知識編集を促進する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T14:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。