論文の概要: Rethinking the Residual Distribution of Locate-then-Editing Methods in Model Editing

• arxiv url: http://arxiv.org/abs/2502.03748v1
• Date: Thu, 06 Feb 2025 03:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:33:08.005231
• Title: Rethinking the Residual Distribution of Locate-then-Editing Methods in Model Editing
• Title（参考訳）: モデル編集における局所編集手法の残留分布の再考
• Authors: Xiaopeng Li, Shanwen Wang, Shasha Li, Shezheng Song, Bin Ji, Jun Ma, Jie Yu,
• Abstract要約: 本稿では,Large Language Models (LLMs) の本来の知識を劣化させる位置列編集手法について述べる。 そこで我々は,境界層UpdatE(Blue)戦略を提案し,位置-then-edit法を強化した。
• 参考スコア（独自算出の注目度）: 11.291085182725597
• License:
• Abstract: Model editing is a powerful technique for updating the knowledge of Large Language Models (LLMs). Locate-then-edit methods are a popular class of approaches that first identify the critical layers storing knowledge, then compute the residual of the last critical layer based on the edited knowledge, and finally perform multi-layer updates using a least-squares solution by evenly distributing the residual from the first critical layer to the last. Although these methods achieve promising results, they have been shown to degrade the original knowledge of LLMs. We argue that residual distribution leads to this issue. To explore this, we conduct a comprehensive analysis of residual distribution in locate-then-edit methods from both empirical and theoretical perspectives, revealing that residual distribution introduces editing errors, leading to inaccurate edits. To address this issue, we propose the Boundary Layer UpdatE (BLUE) strategy to enhance locate-then-edit methods. Sequential batch editing experiments on three LLMs and two datasets demonstrate that BLUE not only delivers an average performance improvement of 35.59\%, significantly advancing the state of the art in model editing, but also enhances the preservation of LLMs' general capabilities. Our code is available at https://github.com/xpq-tech/BLUE.
• Abstract（参考訳）: モデル編集は、Large Language Models (LLM) の知識を更新するための強力な技術である。 Locate-then-editメソッドは、まず知識を格納するクリティカルレイヤを特定し、次に編集した知識に基づいて最後のクリティカルレイヤの残余を計算し、最後に、第1クリティカルレイヤから最後のクリティカルレイヤへの残余を均等に分散して、最小2乗法を用いてマルチレイヤ更新を行う、一般的なアプローチのクラスである。 これらの手法は有望な結果をもたらすが、LLMの本来の知識を劣化させることが示されている。 残留分布がこの問題に繋がると主張する。 そこで我々は,実験的,理論的両視点から,位置列編集法における残差分布の包括的解析を行い,残差分布が編集エラーを引き起こし,不正確な編集につながることを明らかにした。 この問題に対処するため,境界層アップダット(BLUE)戦略を提案する。 3つのLLMと2つのデータセットの逐次バッチ編集実験により、BLUEは平均性能を35.59倍に向上するだけでなく、モデル編集の最先端を著しく向上させるとともに、LLMの一般的な能力の維持も向上することを示した。 私たちのコードはhttps://github.com/xpq-tech/BLUE.comで公開されています。

関連論文リスト

• The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
  質問応答アプリケーションにおけるモデル編集の有効性について検討する。 単一の編集実験により、現在行われている編集手法は、以前報告したよりも大幅に悪化していることが示された。 本分析は,既存のモデル編集手法の現実的適用性と評価手法の両面について,基礎的な再検討を行うものである。
  論文  参考訳（メタデータ） (2025-02-16T15:57:55Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [65.93240009586351]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Perturbation-Restrained Sequential Model Editing [33.51709226068619]
  現在のモデル編集手法は、編集数が増加するにつれて、大きな言語モデル(LLM)の一般的な能力を損なう。 編集用上層部における摂動抑制フレームワーク(PRUNE)を提案する。 PRUNEは、シーケンシャルモデル編集において、編集性能を効果的に維持しながら、かなりの汎用性を維持できる。
  論文  参考訳（メタデータ） (2024-05-27T04:40:56Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Knowledge Editing on Black-box Large Language Models [37.17131278142237]
  知識編集は、大きな言語モデル(LLM)の振る舞いを効率的に正確に修正し、特定の知識を更新することを目的としている。 現在の研究は、主にホワイトボックスのLLM編集に焦点を当てており、重要なシナリオであるブラックボックスのLLM編集を見下ろしている。 ブラックボックスLLMにKEを導入し,既存の評価の限界を克服するための総合評価フレームワークを提案する。 2つのベンチマークの実験と分析は、 PostEditがすべてのベースラインを上回り、強力な一般化を実現することを示した。
  論文  参考訳（メタデータ） (2024-02-13T17:59:34Z)
• Emptying the Ocean with a Spoon: Should We Edit Models? [8.545919917068273]
  LLM世代における事実誤りを訂正する手段として,最近普及した直接モデル編集手法を疑問視する。 モデル編集は、より明確な目的を追求する3つの類似しているが異なるアプローチと対比する。
  論文  参考訳（メタデータ） (2023-10-18T13:38:03Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。