論文の概要: DeltaEdit: Enhancing Sequential Editing in Large Language Models by Controlling Superimposed Noise

• arxiv url: http://arxiv.org/abs/2505.07899v1
• Date: Mon, 12 May 2025 07:11:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.270964
• Title: DeltaEdit: Enhancing Sequential Editing in Large Language Models by Controlling Superimposed Noise
• Title（参考訳）: DeltaEdit: 重畳されたノイズの制御による大規模言語モデルにおけるシーケンス編集の強化
• Authors: Ding Cao, Yuchen Cai, Rongxi Guo, Xuesong He, Guiquan Liu,
• Abstract要約: 逐次的知識編集技術は,大規模言語モデルの知識を低コストで継続的に更新することを目的としている。 既存の逐次編集手法は、長期編集後の編集成功率の大幅な低下に悩まされている。 デルタ編集(DeltaEdit)は,編集間の干渉を軽減し,偏差を緩和する手法である。 実験結果から、DeltaEditは、既存の方法よりも、成功率と一般化能力の維持を著しく上回っていることが示された。
• 参考スコア（独自算出の注目度）: 1.2697731449512988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential knowledge editing techniques aim to continuously update the knowledge in large language models at a low cost, preventing the models from generating outdated or incorrect information. However, existing sequential editing methods suffer from a significant decline in editing success rates after long-term editing. Through theoretical analysis and experiments, we identify that as the number of edits increases, the model's output increasingly deviates from the desired target, leading to a drop in editing success rates. We refer to this issue as the accumulation of superimposed noise problem. To address this, we identify the factors contributing to this deviation and propose DeltaEdit, a novel method that optimizes update parameters through a dynamic orthogonal constraints strategy, effectively reducing interference between edits to mitigate deviation. Experimental results demonstrate that DeltaEdit significantly outperforms existing methods in edit success rates and the retention of generalization capabilities, ensuring stable and reliable model performance even under extensive sequential editing.
• Abstract（参考訳）: 逐次的知識編集技術は,大規模言語モデルにおける知識を低コストで継続的に更新することを目的としている。 しかし、既存の逐次編集手法は、長期編集後の編集成功率の大幅な低下に悩まされている。 理論的解析と実験により、編集数が増加するにつれて、モデルの出力が望ましい目標から逸脱し、編集成功率が低下することが明らかとなった。 この問題を重畳された雑音問題の蓄積とみなす。 そこで我々は,この逸脱に寄与する要因を特定し,動的直交制約戦略により更新パラメータを最適化し,編集間の干渉を効果的に軽減し,逸脱を緩和する手法であるDeltaEditを提案する。 実験結果から、DeltaEditは成功率と一般化能力の維持において既存の方法よりも大幅に優れており、広範囲な逐次編集の下でも安定かつ信頼性の高いモデル性能を確保できることがわかった。

関連論文リスト

• Resolving UnderEdit & OverEdit with Iterative & Neighbor-Assisted Model Editing [7.752740499342269]
  大規模言語モデル(LLM)は、様々な下流言語タスクで使用される。 モデルの再トレーニングと微調整はどちらもコストがかかる可能性がある。 モデル編集は、モデルパラメータの重要なサブセットにのみ更新することで、効率的で効果的な代替手段を提供する。 単一パラメータの更新が不十分な場合が多いという仮説に基づいて,反復的モデル編集を提案する。 提案手法は,複数のモデル編集アルゴリズム,LLM,ベンチマークデータセットに対して,最大38ポイント,OverEditを最大6ポイント削減する。
  論文  参考訳（メタデータ） (2025-03-14T21:53:12Z)
• Reasons and Solutions for the Decline in Model Performance after Editing [17.756172082400163]
  本稿では,編集モデルの性能低下の原因を考察し,編集方法を最適化する。 編集モデルの性能は、主に編集対象とシーケンス長の多様性に左右される。 本稿では,編集モデルの性能向上のために,Dump for Sequence (D4S) 法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T11:49:44Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• Efficiently Quantifying and Mitigating Ripple Effects in Model Editing [27.627105709896025]
  大規模な言語モデルは、時代遅れまたは誤った情報の修正に不可欠である。 これらのモデルを編集すると、しばしば、隠れた空間におけるリップル効果と呼ばれる複雑な問題が発生する。 本稿では,モデルの適応とその後の編集の影響を定量的に評価する新しい評価手法を提案する。 さらに,このリップル効果を緩和するモデル編集法であるSelective Impact Revision(SIR)を導入する。
  論文  参考訳（メタデータ） (2024-03-12T17:04:28Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。