論文の概要: Toward Ultra-Long-Horizon Sequential Model Editing

• arxiv url: http://arxiv.org/abs/2602.02543v1
• Date: Fri, 30 Jan 2026 04:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:14.918368
• Title: Toward Ultra-Long-Horizon Sequential Model Editing
• Title（参考訳）: 超長軸シークエンシャルモデル編集に向けて
• Authors: Mingda Liu, Zhenghan Zhu, Ze'an Miao, Katsuki Fujisawa,
• Abstract要約: 本研究では,大規模な言語モデルにおいて,長い編集シーケンスが突然のモデル崩壊を引き起こすことを示す。 そこで我々は,Norm-Anchor Scaling NASを提案する。 NASは代表L&Eアルゴリズムの崩壊点を4回以上遅らせ、編集性能の平均相対利得は72.2%である。
• 参考スコア（独自算出の注目度）: 0.43748379918040853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model editing has emerged as a practical approach for mitigating factual errors and outdated knowledge in large language models (LLMs). Among existing methods, the Locate-and-Edit (L&E) paradigm is the dominant framework: it locates MLP parameters implicated in expressing a target fact, and then performs a localized update to rewrite that fact. However, long sequences of edits often trigger abrupt model collapse in L&E beyond a critical point. We empirically identify a strong correlation between collapse and explosive growth of edited MLP weight norms, and formally prove that commonly used L&E update rules can induce exponential norm growth across sequential edits in the absence of explicit norm control. To address this issue, we propose Norm-Anchor Scaling NAS, a plug-and-play norm-constrained strategy. Across extensive experiments, NAS delays the collapse point of representative L&E algorithms by more than 4 times and yields a 72.2% average relative gain in editing performance, requiring only a single additional line of code and incurring negligible computational overhead.
• Abstract（参考訳）: モデル編集は,大規模言語モデル(LLM)における事実誤りや時代遅れの知識を緩和するための実践的アプローチとして登場した。 既存のメソッドの中では、Locate-and-Edit(L&E)パラダイムが支配的なフレームワークであり、ターゲットの事実を表現することに関連するMLPパラメータを特定し、その事実を書き換えるために局所的な更新を実行する。 しかし、編集の長いシーケンスは、しばしば臨界点を超えたL&Eの急激なモデル崩壊を引き起こす。 筆者らは,MLP重みノルムの崩壊と爆発的成長の相関関係を実証的に同定し,通常使用されているL&E更新規則が,明示的なノルム制御がない場合に,逐次的な編集における指数的ノルム成長を誘導できることを正式に証明した。 この問題に対処するため,Norm-Anchor Scaling NASを提案する。 広範な実験を通じて、NASは代表L&Eアルゴリズムの崩壊点を4回以上遅らせ、編集性能が72.2%向上し、1行追加のコードしか必要とせず、計算オーバーヘッドも無視できる。

関連論文リスト

• STABLE: Gated Continual Learning for Large Language Models [0.0]
  STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。 各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。 Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-10-17T16:14:05Z)
• VL Norm: Rethink Loss Aggregation in RLVR [23.196933474967224]
  RLVR(Reinforcement Learning with Verifiable Rewards)における動的生成長の特性に合わせた損失集約手法を提案する。 理論的にも経験的にも,様々な長さが政策損失に与える影響を解析することにより,最小分散非バイアス推定器として問題を再検討する。 我々の提案したVLノルムは、真の政策損失の偏りのない見積もりを提供するだけでなく、理論の勾配分散を最小化する。
  論文  参考訳（メタデータ） (2025-09-09T09:52:34Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。