論文の概要: MEMIT-Merge: Addressing MEMIT's Key-Value Conflicts in Same-Subject Batch Editing for LLMs

• arxiv url: http://arxiv.org/abs/2502.07322v1
• Date: Tue, 11 Feb 2025 07:42:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:59.840770
• Title: MEMIT-Merge: Addressing MEMIT's Key-Value Conflicts in Same-Subject Batch Editing for LLMs
• Title（参考訳）: MEMIT-Merge:LLMの同一オブジェクトバッチ編集におけるMEMITのキーバリュー競合に対処する
• Authors: Zilu Dong, Xiangqing Shen, Rui Xia,
• Abstract要約: 同一主題を共有する複数の編集を含むバッチ処理において,MEMITの編集効率は著しく低下することを示した。 我々の分析によると、根本原因はMEMITのキーバリューモデリングフレームワークにある。 我々は、同じ主題を共有する事実に対して、価値プロセスをマージする強化されたアプローチであるMEMIT-Mergeを提案する。
• 参考スコア（独自算出の注目度）: 25.658206998291917
• License:
• Abstract: As large language models continue to scale up, knowledge editing techniques that modify models' internal knowledge without full retraining have gained significant attention. MEMIT, a prominent batch editing algorithm, stands out for its capability to perform mass knowledge modifications. However, we uncover a critical limitation that MEMIT's editing efficacy significantly deteriorates when processing batches containing multiple edits sharing the same subject. Our analysis reveals that the root cause lies in MEMIT's key value modeling framework: When multiple facts with the same subject in a batch are modeled through MEMIT's key value mechanism, identical keys (derived from the shared subject) are forced to represent different values (corresponding to different knowledge), resulting in updates conflicts during editing. Addressing this issue, we propose MEMIT-Merge, an enhanced approach that merges value computation processes for facts sharing the same subject, effectively resolving the performance degradation in same-subject batch editing scenarios. Experimental results demonstrate that when MEMIT's edit success rate drops to around 50% at larger batch sizes, MEMIT-Merge maintains a success rate exceeding 90%, showcasing remarkable robustness to subject entity collisions.
• Abstract（参考訳）: 大規模言語モデルのスケールアップが進むにつれて、モデルの内部知識を完全なリトレーニングなしで変更する知識編集技術が注目されている。 著名なバッチ編集アルゴリズムであるMEMITは、大量知識修正を行う能力で際立っている。 しかし,同じ主題を共有する複数の編集を含むバッチを処理する場合,MEMITの編集効率は著しく低下する。 バッチ内の同じ主題を持つ複数の事実がMEMITのキーバリューメカニズムによってモデル化された場合、同じキー(共有対象から派生した)は異なる値(異なる知識に対応する)を表現せざるを得ず、編集中に更新の矛盾が生じます。 この問題に対処するため、我々は、同じ主題を共有する事実に対して値計算プロセスをマージする拡張されたアプローチであるMEMIT-Mergeを提案し、同一オブジェクトのバッチ編集シナリオにおける性能劣化を効果的に解消する。 実験結果から,MEMITの編集成功率がより大きなバッチサイズで50%程度に低下すると,MEMIT-Mergeは90%を超える成功率を維持し,被写体衝突に対する顕著な堅牢性を示した。

関連論文リスト

• MEMoE: Enhancing Model Editing with Mixture of Experts Adaptors [30.831866499812925]
  MEMoEは、Mixture of Experts (MoE)アーキテクチャと知識アンカールーティング戦略を利用したモデル編集アダプタである。 バッチ編集とシーケンシャルなバッチ編集の両方よりも,我々のアプローチの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-29T13:49:44Z)
• A Unified Framework for Model Editing [2.569159339315845]
  ROMEとMEMITは、主に2つの異なるモデル編集アルゴリズムであると信じられている。 我々はこの2つのアルゴリズムを一つの概念的な傘の下に統一し、同じ目標を最適化する。 両アルゴリズムは, 最適化目標, 能力, モデル編集性能, 限界の観点から等価であることを示す。
  論文  参考訳（メタデータ） (2024-03-21T08:54:24Z)
• Consecutive Batch Model Editing with HooK Layers [59.673084839708224]
  CoachHooKは、シーケンシャルおよびバッチ編集を同時にサポートするモデル編集方法である。 メモリフレンドリで、時間とともにサイズが変化しないいくつかのフック層を格納するために、少量しか必要としない。
  論文  参考訳（メタデータ） (2024-03-08T14:07:44Z)
• Navigating the Dual Facets: A Comprehensive Evaluation of Sequential Memory Editing in Large Language Models [37.91572705169647]
  主要なMEメソッドは、パラメータ修飾MEとパラメータ保存MEの2つがある。 本研究は,大規模言語モデル(LLM)の逐次的編集において,MEが広範囲の基本的な機能にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-02-16T23:08:55Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。