論文の概要: SCAN: Sparse Circuit Anchor Interpretable Neuron for Lifelong Knowledge Editing

• arxiv url: http://arxiv.org/abs/2603.15226v1
• Date: Mon, 16 Mar 2026 13:04:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.293877
• Title: SCAN: Sparse Circuit Anchor Interpretable Neuron for Lifelong Knowledge Editing
• Title（参考訳）: SCAN:生涯知識編集のためのスパース回路アンカー解釈型ニューロン
• Authors: Yuhuan Liu, Haitian Zhong, Xinyuan Xia, Qiang Liu, Shu Wu, Liang Wang,
• Abstract要約: 大規模言語モデル(LLM)は、逐次的な知識編集中に壊滅的な忘れと崩壊に悩まされることが多い。 そこで我々は,Sparse Circuit Anchored Neuronに基づくスパース編集フレームワークであるSCANを提案する。
• 参考スコア（独自算出の注目度）: 26.542139787010395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) often suffer from catastrophic forgetting and collapse during sequential knowledge editing. This vulnerability stems from the prevailing dense editing paradigm, which treats models as black boxes and relies on coarse-grained parameter interventions that inevitably disrupt preserved knowledge. To address this, we propose SCAN (a sparse editing framework based on Sparse Circuit Anchored Neuron) which transforms editing into a mechanism-aware manipulation by constructing a knowledge circuit via Sparse Transcoders. Experiments on Gemma2, Qwen3, and Llama3.1 across CounterFact, ZsRE and WikiFactDiff demonstrate that SCAN achieves a superior performance, maintaining model integrity on benchmarks like MMLU and GSM8K even after 3,000 sequential edits, whereas other existing methods deteriorate progressively as editing accumulates, eventually resulting in model collapse.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、逐次的な知識編集中に壊滅的な忘れと崩壊に悩まされることが多い。 この脆弱性は、モデルをブラックボックスとして扱い、必然的に保存された知識を妨害する粗いパラメータ介入に依存する、一般的な高密度な編集パラダイムに起因している。 そこで我々は,Sparse Circuit Anchored Neuronをベースとしたスパース編集フレームワークであるSCANを提案する。 CounterFact, ZsRE, WikiFactDiff で Gemma2, Qwen3, Llama3.1 の実験を行った結果,SCAN が MMLU や GSM8K などのベンチマーク上でのモデル整合性を維持し,3000 回の編集の後でもモデル整合性を維持することができた。

関連論文リスト

• zkCraft: Prompt-Guided LLM as a Zero-Shot Mutation Pattern Oracle for TCCT-Powered ZK Fuzzing [7.274627641804014]
  zkCraftは決定論的、R1CS対応のローカライゼーションと証明付き検索を組み合わせて意味的不整合を検出するフレームワークである。 証明付きローカライゼーションは, 偽陽性が低い多彩な下限および過制約の断層を検出し, コストのかかるソルバ相互作用を低減できることを示す。
  論文  参考訳（メタデータ） (2026-01-31T11:31:00Z)
• Spectral Characterization and Mitigation of Sequential Knowledge Editing Collapse [44.49646322759214]
  モデルの一般能力は、事前訓練された重み行列の支配的な特異方向と密接に関連していることを示す。 支配的な特異部分空間を明示的に保存することにより、シーケンシャルな編集を安定化するプラグイン・アンド・プレイフレームワークであるREVIVEを提案する。
  論文  参考訳（メタデータ） (2026-01-16T07:18:14Z)
• Representation Interventions Enable Lifelong Unstructured Knowledge Control [54.86207134539453]
  大規模言語モデル(LLM)は、しばしば誤った、または時代遅れのコンテンツを生成します。その知識を効率的に正確に更新し、コストのかかる再トレーニングなしにするというのは、大きな課題です。 本稿では,モデル表現空間内の介入として知識制御を扱う,堅牢でスケーラブルな手法であるRILKEを紹介する。 トレーニング中、RILKEはパラフレーズロバストと編集局所化モジュールを学び、低次元のサブスペースへの更新を制限し、クロスディジット干渉を最小限に抑える。 推論において、クエリ適応ルータは、モデル生成をガイドする適切なモジュールを選択する。
  論文  参考訳（メタデータ） (2025-11-25T22:15:00Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing [28.870053452479443]
  現在の位置情報編集アプローチは、逐次編集中に徐々にパフォーマンスが低下している。 textbfLyapLockは、長期制約付きプログラミングを、効率的な解法のために、段階的に抽出可能なサブプロブレムに分解するために提案されている。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89%向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。
  論文  参考訳（メタデータ） (2025-05-21T16:16:33Z)
• Keys to Robust Edits: from Theoretical Insights to Practical Advances [20.10464264597003]
  大規模言語モデル(LLM)は、矛盾/時代遅れのパラメトリック記憶のために正確な知識を維持するのに苦労する。 当社のソリューションでは,ネイティブモデル表現から編集キーをアンタングルするプラグイン・アンド・プレイモジュールである textitRobust Edit Pathway (REP) を導入しています。
  論文  参考訳（メタデータ） (2024-10-12T02:54:12Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。