論文の概要: Are We Evaluating the Edit Locality of LLM Model Editing Properly?

• arxiv url: http://arxiv.org/abs/2601.17343v1
• Date: Sat, 24 Jan 2026 07:07:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.6092
• Title: Are We Evaluating the Edit Locality of LLM Model Editing Properly?
• Title（参考訳）: LLMモデル編集における編集局所性の評価は適切か?
• Authors: Wei Liu, Haomei Xu, Hongkai Liu, Zhiying Deng, Ruixuan Li, Heng Huang, Yee Whye Teh, Wee Sun Lee,
• Abstract要約: この目的のために既存の特異性評価プロトコルは不十分であることがわかった。 既存の特異度指標は特異度正規化器の強度と弱い相関関係にある。 また、現在のメトリクスには十分な感度が欠けており、異なるメソッドの特異性性能の区別に効果がないこともわかりました。
• 参考スコア（独自算出の注目度）: 68.441768731381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model editing has recently emerged as a popular paradigm for efficiently updating knowledge in LLMs. A central desideratum of updating knowledge is to balance editing efficacy, i.e., the successful injection of target knowledge, and specificity (also known as edit locality), i.e., the preservation of existing non-target knowledge. However, we find that existing specificity evaluation protocols are inadequate for this purpose. We systematically elaborated on the three fundamental issues it faces. Beyond the conceptual issues, we further empirically demonstrate that existing specificity metrics are weakly correlated with the strength of specificity regularizers. We also find that current metrics lack sufficient sensitivity, rendering them ineffective at distinguishing the specificity performance of different methods. Finally, we propose a constructive evaluation protocol. Under this protocol, the conflict between open-ended LLMs and the assumption of determined answers is eliminated, query-independent fluency biases are avoided, and the evaluation strictness can be smoothly adjusted within a near-continuous space. Experiments across various LLMs, datasets, and editing methods show that metrics derived from the proposed protocol are more sensitive to changes in the strength of specificity regularizers and exhibit strong correlation with them, enabling more fine-grained discrimination of different methods' knowledge preservation capabilities.
• Abstract（参考訳）: モデル編集はLLMの知識を効率的に更新するための一般的なパラダイムとして最近登場した。 知識を更新する中心的なデシラタムは、編集の効力、すなわち目標知識の注入の成功と特定性(編集局所性とも呼ばれる)、すなわち既存の非目標知識の保存のバランスをとることである。 しかし,既存の特異性評価プロトコルはこの目的には不十分であることがわかった。 私たちは、それが直面している3つの基本的な問題を体系的に詳しく説明した。 概念的問題以外にも、既存の特異度指標が特異度正規化器の強度と弱い相関があることを実証的に示す。 また、現在のメトリクスには十分な感度が欠けており、異なるメソッドの特異性性能の区別に効果がないこともわかりました。 最後に,構築的評価プロトコルを提案する。 このプロトコルでは、オープンエンドLLMと決定された回答の仮定との衝突を排除し、クエリ非依存の流速バイアスを回避し、ほぼ連続した空間内で評価厳密度を円滑に調整することができる。 様々なLCM,データセット,編集手法を用いた実験により,提案プロトコルから派生したメトリクスは,特定性正規化器の強度の変化に敏感であり,それらと強い相関関係を示し,異なる手法の知識保存能力のよりきめ細かな識別を可能にした。

関連論文リスト

• EtCon: Edit-then-Consolidate for Reliable Knowledge Editing [85.20993502078899]
  本稿では,理論的知識編集手法と実世界の応用性とのギャップを埋めることを目的とした知識編集パラダイムであるEdit-then-Consolidateを提案する。 本フレームワークは,実環境評価における編集信頼性と一般化を継続的に改善するとともに,局所性と事前学習能力の保存を向上する。
  論文  参考訳（メタデータ） (2025-12-04T12:43:50Z)
• Towards Meta-Cognitive Knowledge Editing for Multimodal LLMs [71.8547241246169]
  本稿では,MLLMのメタ認知的知識編集能力を評価するための新しいベンチマークであるCogEditを紹介する。 本稿では,自己認識のためのメタ知識メモリを構築するフレームワークであるMINDを提案する。
  論文  参考訳（メタデータ） (2025-09-06T13:26:04Z)
• Disentangling Knowledge Representations for Large Language Model Editing [38.244171146682206]
  我々は,LLM編集のための知識表現を分割する新しいアプローチであるDiKEを提案する。 DiKEは2つの主要なコンポーネントから構成される: 対象表現を対象知識関連および非関連コンポーネントに分解する知識表現(KRD)モジュールと、対象コンポーネントのみを更新する知識編集(DKE)モジュールである。 本研究では, 微粒な無関係知識の保存を厳密に評価するため, FINE-KEDという, 微粒な無関係知識を, 編集された知識と異なるレベルの類似度で構成した新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-05-24T16:24:04Z)
• Precise Localization of Memories: A Fine-grained Neuron-level Knowledge Editing Technique for LLMs [47.06544781855325]
  本研究では、成功率に影響を与えることなく、局所性を改善するための微粒なニューロンレベルの知識編集(FiNE)手法を提案する。 フィードフォワードネットワーク内の特定のニューロンを正確に識別し、修正することにより、FiNEは知識のローカライゼーションと編集を大幅に改善する。
  論文  参考訳（メタデータ） (2025-03-03T01:30:28Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Evaluating Dependencies in Fact Editing for Language Models: Specificity and Implication Awareness [26.589633375359647]
  学習した事実の編集が、知識の依存として知られる内部的な論理的制約を尊重することを確実にすることを目的としている。 LLMの編集作業は、ある事実の編集が関係のないものを破壊することなく、その語彙のバリエーションに適用されるべきである場合、依存関係の問題に部分的に対処している。 本稿では,関連する質問応答データセットであるDepEditを用いた評価プロトコルを提案し,編集プロセスの総合的な評価を行う。
  論文  参考訳（メタデータ） (2023-12-04T12:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。