論文の概要: Lifelong Knowledge Editing requires Better Regularization

• arxiv url: http://arxiv.org/abs/2502.01636v2
• Date: Wed, 21 May 2025 17:58:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:57.39801
• Title: Lifelong Knowledge Editing requires Better Regularization
• Title（参考訳）: 生涯的知識編集には規則化の改善が必要である
• Authors: Akshat Gupta, Phudish Prateepamornkul, Maochuan Lu, Ahmed Alaa, Thomas Hartvigsen, Gopala Anumanchipalli,
• Abstract要約: そこで我々は,2段階の微調整プロセスとして,一般的な位置編集手法を定式化する。 モデル劣化は,内部アクティベーションの過度な最適化と,編集行列の連続的ノルム成長によって生じることを示す。 これらの単純で効果的な正規化手法を編集プロセスのキーポイントに適用することで、モデル劣化を著しく軽減することができる。
• 参考スコア（独自算出の注目度）: 11.14177136208272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing is a promising way to improve factuality in large language models, but recent studies have shown significant model degradation during sequential editing. In this paper, we formalize the popular locate-then-edit methods as a two-step fine-tuning process, allowing us to precisely identify the root cause of this degradation. We show that model degradation occurs due to (1) over-optimization of internal activations and (2) continuous norm-growth of edited matrices. To mitigate these issues, we introduce two regularization techniques: (1) Most-Probable Early Stopping (MPES) and (2) explicit Frobenius norm-constraint. We demonstrate that applying these simple yet effective regularization techniques at key points in the editing process can substantially mitigate model degradation. Combining these regularization methods enables scaling locate-then-edit methods to 10,000 edits while reducing editing time by 42-61%. These results show that targeted regularization is essential for lifelong knowledge editing.
• Abstract（参考訳）: 知識編集は、大規模言語モデルにおける事実性を改善するための有望な方法であるが、最近の研究では、シーケンシャルな編集におけるモデル劣化が顕著に示されている。 本稿では,2段階の微調整プロセスとして一般的な位置推定法を定式化し,この劣化の根本原因を正確に同定する。 本研究では,(1)内部アクティベーションの過度な最適化と(2)編集行列の連続的ノルム成長によりモデル劣化が生じることを示す。 これらの問題を緩和するために,(1)最も高い確率の早期停止 (MPES) と(2)明示的なフロベニウスノルム制約 (Frobenius normal-Constraint) の2つの正規化手法を導入する。 編集過程のキーポイントにこれらの単純かつ効果的な正規化手法を適用することで、モデル劣化を著しく軽減できることを実証する。 これらの正規化手法を組み合わせることで、ロケーション・then-editメソッドを1万の編集に拡張し、編集時間を42～61%削減できる。 これらの結果から,終生の知識編集には目標正規化が不可欠であることが示唆された。

関連論文リスト

• Understanding the Limits of Lifelong Knowledge Editing in LLMs [59.12302872055081]
  我々は、生涯にわたる知識編集の研究を現実の編集に事実上の規模で橋渡しする。 まず,実世界のウィキデータ編集の大規模ベンチマークであるWikiBigEditを紹介した。 最初の例では、知識編集のための500万以上の質問応答ペアが含まれている。
  論文  参考訳（メタデータ） (2025-03-07T18:45:42Z)
• Constraining Sequential Model Editing with Editing Anchor Compression [40.93064933191375]
  大型言語モデル(LLM)は、誤った知識や時代遅れの知識によって幻覚に苦しむ。 本稿では, 編集後のパラメータ行列が, 編集数の増加に伴って, 以前の状態と大きくずれていることを統計的に観察する。 逐次的編集におけるパラメータ行列の偏差を抑制するため,EAC (Editing Anchor Compression) というフレームワークが提案されている。
  論文  参考訳（メタデータ） (2025-02-25T03:56:49Z)
• AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• O-Edit: Orthogonal Subspace Editing for Language Model Sequential Editing [0.0]
  大規模言語モデル(LLM)は、事前訓練中に知識を取得するが、時間が経つにつれて、この知識は誤りまたは時代遅れになり、訓練後に更新が必要になる。 このアルゴリズムは、各知識更新の方向をアルゴリズム化し、逐次更新間の干渉を最小限にし、新しい更新が無関係な知識に与える影響を減らす。 メインストリームのLCM上で数千の編集を行うことができ、既存のメソッドの4.2倍の性能向上を実現し、下流のタスクでモデルのパフォーマンスを効果的に保ち、パラメータのオーバーヘッドを最小限に抑えることができる。
  論文  参考訳（メタデータ） (2024-10-15T10:16:45Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [65.93240009586351]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• Perturbation-Restrained Sequential Model Editing [33.51709226068619]
  現在のモデル編集手法は、編集数が増加するにつれて、大きな言語モデル(LLM)の一般的な能力を損なう。 逐次編集における条件数抑制を応用した「PRUNE(Preper bouNd for Editing)」というフレームワークを提案する。 その結果、PRUNEは、逐次モデル編集において、編集性能を効果的に維持しながら、汎用性を維持できることを示した。
  論文  参考訳（メタデータ） (2024-05-27T04:40:56Z)
• WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
  大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。 更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。 記憶のギャップを埋めるためにWISEを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:35:52Z)
• Rebuilding ROME : Resolving Model Collapse during Sequential Model Editing [2.569159339315845]
  Rank-One Model Editing (ROME) の実装において,編集の無効化は不規則な成果であることを示す。 我々は、r-ROME と呼ばれるより安定した実装 ROME を提供し、r-ROME で大規模な逐次編集を行う場合、モデル崩壊はもはや観測されないことを示す。
  論文  参考訳（メタデータ） (2024-03-11T21:33:05Z)
• WilKE: Wise-Layer Knowledge Editor for Lifelong Knowledge Editing [19.357663224043534]
  本研究は,生涯編集における知識編集による性能劣化を明らかにする。 Wise-Layer Knowledge Editor (WilKE) という知識編集手法を導入する。 WilKEは、言語モデルにおいて、異なるレイヤにわたる編集知識のパターンマッチング度に基づいて、編集層を選択する。
  論文  参考訳（メタデータ） (2024-02-16T05:29:59Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
  多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。 我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。 DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T03:48:27Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。