論文の概要: Toward Ultra-Long-Horizon Sequential Model Editing

• arxiv url: http://arxiv.org/abs/2602.02543v1
• Date: Fri, 30 Jan 2026 04:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:14.918368
• Title: Toward Ultra-Long-Horizon Sequential Model Editing
• Title（参考訳）: 超長軸シークエンシャルモデル編集に向けて
• Authors: Mingda Liu, Zhenghan Zhu, Ze'an Miao, Katsuki Fujisawa,
• Abstract要約: 本研究では,大規模な言語モデルにおいて,長い編集シーケンスが突然のモデル崩壊を引き起こすことを示す。 そこで我々は,Norm-Anchor Scaling NASを提案する。 NASは代表L&Eアルゴリズムの崩壊点を4回以上遅らせ、編集性能の平均相対利得は72.2%である。
• 参考スコア（独自算出の注目度）: 0.43748379918040853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model editing has emerged as a practical approach for mitigating factual errors and outdated knowledge in large language models (LLMs). Among existing methods, the Locate-and-Edit (L&E) paradigm is the dominant framework: it locates MLP parameters implicated in expressing a target fact, and then performs a localized update to rewrite that fact. However, long sequences of edits often trigger abrupt model collapse in L&E beyond a critical point. We empirically identify a strong correlation between collapse and explosive growth of edited MLP weight norms, and formally prove that commonly used L&E update rules can induce exponential norm growth across sequential edits in the absence of explicit norm control. To address this issue, we propose Norm-Anchor Scaling NAS, a plug-and-play norm-constrained strategy. Across extensive experiments, NAS delays the collapse point of representative L&E algorithms by more than 4 times and yields a 72.2% average relative gain in editing performance, requiring only a single additional line of code and incurring negligible computational overhead.
• Abstract（参考訳）: モデル編集は,大規模言語モデル(LLM)における事実誤りや時代遅れの知識を緩和するための実践的アプローチとして登場した。 既存のメソッドの中では、Locate-and-Edit(L&E)パラダイムが支配的なフレームワークであり、ターゲットの事実を表現することに関連するMLPパラメータを特定し、その事実を書き換えるために局所的な更新を実行する。 しかし、編集の長いシーケンスは、しばしば臨界点を超えたL&Eの急激なモデル崩壊を引き起こす。 筆者らは,MLP重みノルムの崩壊と爆発的成長の相関関係を実証的に同定し,通常使用されているL&E更新規則が,明示的なノルム制御がない場合に,逐次的な編集における指数的ノルム成長を誘導できることを正式に証明した。 この問題に対処するため,Norm-Anchor Scaling NASを提案する。 広範な実験を通じて、NASは代表L&Eアルゴリズムの崩壊点を4回以上遅らせ、編集性能が72.2%向上し、1行追加のコードしか必要とせず、計算オーバーヘッドも無視できる。

関連論文リスト

• Autoregressive, Yet Revisable: In Decoding Revision for Secure Code Generation [17.125957722393327]
  Stream of Revision(ストリーム・オブ・リビジョン)は、モノトニックストリームから動的で自己修正的な軌道へのコード生成を高めるパラダイムシフトである。 モデルがシームレスにバックトラックし、単一のフォワードパス内で自身の履歴を編集できるように、特定のアクショントークンを導入します。
  論文  参考訳（メタデータ） (2026-02-01T12:22:46Z)
• STABLE: Gated Continual Learning for Large Language Models [0.0]
  STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。 各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。 Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-10-17T16:14:05Z)
• Fine-tuning Done Right in Model Editing [83.79661791576103]
  大規模な言語モデルを適応するための基礎的な手法であるファインチューニングは、長い間モデル編集には有効ではないと考えられてきた。 ミニバッチ最適化により、標準的な幅優先パイプライン(エポックベース)に微調整を復元する。 我々は、復元された微調整フレームワーク上に構築された、シンプルで効果的なローカライズド編集手法であるLocFT-BFを導出する。
  論文  参考訳（メタデータ） (2025-09-26T08:53:13Z)
• VL Norm: Rethink Loss Aggregation in RLVR [23.196933474967224]
  RLVR(Reinforcement Learning with Verifiable Rewards)における動的生成長の特性に合わせた損失集約手法を提案する。 理論的にも経験的にも,様々な長さが政策損失に与える影響を解析することにより,最小分散非バイアス推定器として問題を再検討する。 我々の提案したVLノルムは、真の政策損失の偏りのない見積もりを提供するだけでなく、理論の勾配分散を最小化する。
  論文  参考訳（メタデータ） (2025-09-09T09:52:34Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing [28.870053452479443]
  現在の位置情報編集アプローチは、逐次編集中に徐々にパフォーマンスが低下している。 textbfLyapLockは、長期制約付きプログラミングを、効率的な解法のために、段階的に抽出可能なサブプロブレムに分解するために提案されている。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89%向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。
  論文  参考訳（メタデータ） (2025-05-21T16:16:33Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。