論文の概要: Constraining Sequential Model Editing with Editing Anchor Compression

• arxiv url: http://arxiv.org/abs/2503.00035v1
• Date: Tue, 25 Feb 2025 03:56:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-09 03:20:32.210130
• Title: Constraining Sequential Model Editing with Editing Anchor Compression
• Title（参考訳）: アンカー圧縮の編集による逐次モデル編集の制約
• Authors: Hao-Xiang Xu, Jun-Yu Ma, Zhen-Hua Ling, Ningyu Zhang, Jia-Chen Gu,
• Abstract要約: 大型言語モデル(LLM)は、誤った知識や時代遅れの知識によって幻覚に苦しむ。 本稿では, 編集後のパラメータ行列が, 編集数の増加に伴って, 以前の状態と大きくずれていることを統計的に観察する。 逐次的編集におけるパラメータ行列の偏差を抑制するため,EAC (Editing Anchor Compression) というフレームワークが提案されている。
• 参考スコア（独自算出の注目度）: 40.93064933191375
• License:
• Abstract: Large language models (LLMs) struggle with hallucinations due to false or outdated knowledge. Given the high resource demands of retraining these models, there is an increasing focus on developing model editing. However, the general abilities of LLMs across downstream tasks are prone to significant degradation during sequential editing. This paper statistically observes that the parameter matrix after editing exhibits a significant deviation compared to its previous state as the number of edits increases. This serious deviation affects the original knowledge associations within LLMs and leads to the degradation of their general abilities. To this end, a framework termed Editing Anchor Compression (EAC) is proposed to constrain the deviation of the parameter matrix during sequential editing. It compresses the editing information by selecting editing anchors that are important in encoding new relations without deviating too much from the original matrix, thereby preserving the general abilities. Experiments of applying EAC to two popular editing methods on three LLMs across four tasks are conducted. Evaluation results show that EAC effectively minimizes unreasonable deviations caused by model editing, preserving over 70% of the general abilities while better retaining the editing knowledge compared to the original counterpart methods.
• Abstract（参考訳）: 大型言語モデル(LLM)は、誤った知識や時代遅れの知識によって幻覚に苦しむ。 これらのモデルを再訓練するリソースの要求が高いことから、モデル編集の開発に焦点が当てられている。 しかし、下流タスクにおけるLLMの一般的な能力は、逐次的な編集の過程で著しく劣化する傾向にある。 本稿では, 編集後のパラメータ行列が, 編集数の増加に伴って, 以前の状態と大きくずれていることを統計的に観察する。 この重大な偏差は、LSM内の元の知識関連に影響を与え、それらの一般的な能力の低下につながる。 この目的のために、逐次編集中のパラメータ行列のずれを抑制するために、EAC (Editing Anchor Compression) というフレームワークが提案されている。 元の行列から過度に逸脱することなく、新しい関係を符号化する上で重要な編集アンカーを選択して編集情報を圧縮し、一般的な能力を維持する。 EACを4つのタスクにまたがる3つのLLM上の2つの一般的な編集方法に適用する実験を行った。 評価の結果,ERCはモデル編集による不合理な逸脱を効果的に抑制し,一般的な能力の70%以上を保ちながら,本来の方法と比較して編集知識の保持を向上することがわかった。

関連論文リスト

• Reinforced Lifelong Editing for Language Models [12.101856766731574]
  大規模言語モデル(LLM)は、事前学習したコーパスから情報を取得するが、その記憶された知識は、時間とともに不正確になるか、時代遅れになる可能性がある。 モデル編集は、リトレーニングなしでモデルパラメータを変更することでこの課題に対処する。 本稿では,RLに基づく編集手法であるRLEditを提案する。
  論文  参考訳（メタデータ） (2025-02-09T03:37:06Z)
• Lifelong Sequential Knowledge Editing without Model Degradation [11.14177136208272]
  位置対応知識編集手法が編集事実の過度な適合に繋がることを示す。 これらの手法を用いて連続的な知識編集を行うことで、編集行列のノルムが不均等に成長することを示す。 ENCORE - Early Stop and Norm-Constrained Robust knowledge Editing。
  論文  参考訳（メタデータ） (2025-02-03T18:59:14Z)
• O-Edit: Orthogonal Subspace Editing for Language Model Sequential Editing [0.0]
  大規模言語モデル(LLM)は、事前訓練中に知識を取得するが、時間が経つにつれて、この知識は誤りまたは時代遅れになり、訓練後に更新が必要になる。 このアルゴリズムは、各知識更新の方向をアルゴリズム化し、逐次更新間の干渉を最小限にし、新しい更新が無関係な知識に与える影響を減らす。 メインストリームのLCM上で数千の編集を行うことができ、既存のメソッドの4.2倍の性能向上を実現し、下流のタスクでモデルのパフォーマンスを効果的に保ち、パラメータのオーバーヘッドを最小限に抑えることができる。
  論文  参考訳（メタデータ） (2024-10-15T10:16:45Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [65.93240009586351]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Perturbation-Restrained Sequential Model Editing [33.51709226068619]
  現在のモデル編集手法は、編集数が増加するにつれて、大きな言語モデル(LLM)の一般的な能力を損なう。 逐次編集における条件数抑制を応用した「PRUNE(Preper bouNd for Editing)」というフレームワークを提案する。 その結果、PRUNEは、逐次モデル編集において、編集性能を効果的に維持しながら、汎用性を維持できることを示した。
  論文  参考訳（メタデータ） (2024-05-27T04:40:56Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。