論文の概要: LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing

• arxiv url: http://arxiv.org/abs/2505.15702v1
• Date: Wed, 21 May 2025 16:16:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.770696
• Title: LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing
• Title（参考訳）: LyapLock: 逐次大規模言語モデル編集における境界知識保存
• Authors: Peng Wang, Biyu Zhou, Xuehai Tang, Jizhong Han, Songlin Hu,
• Abstract要約: 現在の位置情報編集アプローチは、逐次編集中に徐々にパフォーマンスが低下している。 textbfLyapLockは、長期制約付きプログラミングを、効率的な解法のために、段階的に抽出可能なサブプロブレムに分解するために提案されている。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89%向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。
• 参考スコア（独自算出の注目度）: 27.918524905286475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models often contain factually incorrect or outdated knowledge, giving rise to model editing methods for precise knowledge updates. However, current mainstream locate-then-edit approaches exhibit a progressive performance decline during sequential editing, due to inadequate mechanisms for long-term knowledge preservation. To tackle this, we model the sequential editing as a constrained stochastic programming. Given the challenges posed by the cumulative preservation error constraint and the gradually revealed editing tasks, \textbf{LyapLock} is proposed. It integrates queuing theory and Lyapunov optimization to decompose the long-term constrained programming into tractable stepwise subproblems for efficient solving. This is the first model editing framework with rigorous theoretical guarantees, achieving asymptotic optimal editing performance while meeting the constraints of long-term knowledge preservation. Experimental results show that our framework scales sequential editing capacity to over 10,000 edits while stabilizing general capabilities and boosting average editing efficacy by 11.89\% over SOTA baselines. Furthermore, it can be leveraged to enhance the performance of baseline methods. Our code is released on https://github.com/caskcsg/LyapLock.
• Abstract（参考訳）: 大規模言語モデルは、しばしば事実的に誤りまたは時代遅れの知識を含んでおり、正確な知識更新のためのモデル編集方法がもたらされる。 しかし、現在主流となっている位置編集アプローチは、長期的知識保存のメカニズムが不十分なため、シーケンシャルな編集の過程で徐々に性能が低下している。 これを解決するために、逐次編集を制約付き確率的プログラミングとしてモデル化する。 累積保存誤差制約と徐々に表される編集タスクによって生じる課題を考慮し, <textbf{LyapLock} を提案する。 待ち行列理論とリアプノフ最適化を統合して、長期の制約付きプログラミングを、効率的な解法のために、引き分け可能な段階的なサブプロブレムに分解する。 これは、長期知識保存の制約を満たしつつ、漸近的最適編集性能を達成するための厳密な理論的保証を備えた最初のモデル編集フレームワークである。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89倍向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。 さらに,ベースライン手法の性能向上にも活用できる。 私たちのコードはhttps://github.com/caskcsg/LyapLock.comでリリースされています。

関連論文リスト

• UltraEdit: Training-, Subject-, and Memory-Free Lifelong Editing in Large Language Models [18.23723680134397]
  生涯学習は、内部知識を継続的に更新することによって、大きな言語モデルが進化する情報に適応することを可能にする。 モデル編集は、モデルの内部知識を更新するための集中的で効率的な方法を提供する、この目標のための有望なソリューションとして際立っている。 UltraEditはトレーニング用、主題用、メモリ不要で、超スケーラブルで現実世界の生涯モデル編集に適しています。
  論文  参考訳（メタデータ） (2025-05-20T17:59:04Z)
• DeltaEdit: Enhancing Sequential Editing in Large Language Models by Controlling Superimposed Noise [1.2697731449512988]
  逐次的知識編集技術は,大規模言語モデルの知識を低コストで継続的に更新することを目的としている。 既存の逐次編集手法は、長期編集後の編集成功率の大幅な低下に悩まされている。 デルタ編集(DeltaEdit)は,編集間の干渉を軽減し,偏差を緩和する手法である。 実験結果から、DeltaEditは、既存の方法よりも、成功率と一般化能力の維持を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2025-05-12T07:11:26Z)
• Lifelong Knowledge Editing requires Better Regularization [11.14177136208272]
  そこで我々は,2段階の微調整プロセスとして,一般的な位置編集手法を定式化する。 モデル劣化は,内部アクティベーションの過度な最適化と,編集行列の連続的ノルム成長によって生じることを示す。 これらの単純で効果的な正規化手法を編集プロセスのキーポイントに適用することで、モデル劣化を著しく軽減することができる。
  論文  参考訳（メタデータ） (2025-02-03T18:59:14Z)
• O-Edit: Orthogonal Subspace Editing for Language Model Sequential Editing [0.0]
  大規模言語モデル(LLM)は、事前訓練中に知識を取得するが、時間が経つにつれて、この知識は誤りまたは時代遅れになり、訓練後に更新が必要になる。 このアルゴリズムは、各知識更新の方向をアルゴリズム化し、逐次更新間の干渉を最小限にし、新しい更新が無関係な知識に与える影響を減らす。 メインストリームのLCM上で数千の編集を行うことができ、既存のメソッドの4.2倍の性能向上を実現し、下流のタスクでモデルのパフォーマンスを効果的に保ち、パラメータのオーバーヘッドを最小限に抑えることができる。
  論文  参考訳（メタデータ） (2024-10-15T10:16:45Z)
• Perturbation-Restrained Sequential Model Editing [33.51709226068619]
  現在のモデル編集手法は、編集数が増加するにつれて、大きな言語モデル(LLM)の一般的な能力を損なう。 逐次編集における条件数抑制を応用した「PRUNE(Preper bouNd for Editing)」というフレームワークを提案する。 その結果、PRUNEは、逐次モデル編集において、編集性能を効果的に維持しながら、汎用性を維持できることを示した。
  論文  参考訳（メタデータ） (2024-05-27T04:40:56Z)
• Consecutive Batch Model Editing with HooK Layers [59.673084839708224]
  CoachHooKは、シーケンシャルおよびバッチ編集を同時にサポートするモデル編集方法である。 メモリフレンドリで、時間とともにサイズが変化しないいくつかのフック層を格納するために、少量しか必要としない。
  論文  参考訳（メタデータ） (2024-03-08T14:07:44Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。