論文の概要: Revisiting Parameter-Based Knowledge Editing in Large Language Models: Theoretical Limits and Empirical Evidence

• arxiv url: http://arxiv.org/abs/2606.00570v1
• Date: Sat, 30 May 2026 06:44:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.52995
• Title: Revisiting Parameter-Based Knowledge Editing in Large Language Models: Theoretical Limits and Empirical Evidence
• Title（参考訳）: 大規模言語モデルにおけるパラメータに基づく知識編集の再検討:理論的限界と実証的証拠
• Abstract要約: 本稿では,次元的崩壊仮説に基づく理論的解析を行い,局所化パラメータ編集が表現空間の脆弱な方向に沿ってどのように伝播するかを説明する。 次に,知識複雑性,編集数,評価次元,ベースライン手法を体系的に変化させることで,総合的な経験的評価を行う。
• 参考スコア（独自算出の注目度）: 30.723839652218487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-based knowledge editing updates the internal knowledge of large language models (LLMs) via localized weight modifications and has attracted significant attention. However, most existing methods overlook fundamental theoretical limitations and are rarely evaluated under realistic, practice-oriented settings. In this paper, we first present a theoretical analysis based on the dimensional Collapse Hypothesis, explaining how localized parameter edits can propagate along fragile directions in the representation space, inducing global interference and ultimately causing reasoning collapse. Building on this insight, we conduct a comprehensive empirical evaluation by systematically varying knowledge complexity, number of edits, evaluation dimensions, and baseline methods. Our results show that parameter-based editing methods consistently damage core LLM capabilities. In contrast, a simple retrieval-based baseline achieves consistently stronger performance than all parameter-editing methods across all evaluated conditions. These findings highlight that preserving the fundamental capabilities of LLMs after knowledge editing should be a central concern for future research.
• Abstract（参考訳）: パラメータベースの知識編集は、局所的な重み付けによって大きな言語モデル(LLM)の内部知識を更新し、注目されている。 しかし、既存のほとんどの手法は基本的な理論上の制約を無視し、現実的で実践的な設定で評価されることは滅多にない。 本稿では、まず、次元的崩壊仮説に基づく理論的解析を行い、局所化されたパラメータ編集が表現空間の脆弱な方向に沿って伝播し、大域的干渉を誘発し、最終的に原因の崩壊を引き起こすかを説明する。 この知見に基づいて,知識の複雑さ,編集数,評価次元,ベースライン手法を体系的に変化させることで,総合的な経験的評価を行う。 その結果,パラメータベースの編集手法がLLMのコア機能に一定のダメージを与えることがわかった。 対照的に、単純な検索ベースのベースラインは、全ての評価条件をまたいだパラメータ編集手法よりも一貫して強力な性能を達成する。 これらの知見は、知識編集後のLLMの基本的な機能を維持することが、今後の研究の中心的な関心事であることを示唆している。

関連論文リスト

• Are We Evaluating the Edit Locality of LLM Model Editing Properly? [68.441768731381]
  この目的のために既存の特異性評価プロトコルは不十分であることがわかった。 既存の特異度指標は特異度正規化器の強度と弱い相関関係にある。 また、現在のメトリクスには十分な感度が欠けており、異なるメソッドの特異性性能の区別に効果がないこともわかりました。
  論文  参考訳（メタデータ） (2026-01-24T07:07:21Z)
• EtCon: Edit-then-Consolidate for Reliable Knowledge Editing [85.20993502078899]
  本稿では,理論的知識編集手法と実世界の応用性とのギャップを埋めることを目的とした知識編集パラダイムであるEdit-then-Consolidateを提案する。 本フレームワークは,実環境評価における編集信頼性と一般化を継続的に改善するとともに,局所性と事前学習能力の保存を向上する。
  論文  参考訳（メタデータ） (2025-12-04T12:43:50Z)
• Part I: Tricks or Traps? A Deep Dive into RL for LLM Reasoning [53.85659415230589]
  本稿では,広く採用されている強化学習手法を体系的にレビューする。 特定の設定に合わせてRLテクニックを選択するための明確なガイドラインを示す。 また、2つのテクニックを最小限に組み合わせることで、批判のないポリシーの学習能力を解き放つことも明らかにした。
  論文  参考訳（メタデータ） (2025-08-11T17:39:45Z)
• Benchmarking and Rethinking Knowledge Editing for Large Language Models [34.80161437154527]
  知識編集は,Large Language Models (LLM)内での組み込み知識の更新を目的としている。 パラメータ修正や外部メモリ統合といった既存のアプローチは、しばしば不整合評価目標や実験的な設定に悩まされる。 本研究は、現在の知識編集手法の限界に対する新たな洞察を提供し、より堅牢な代替手段としてコンテキストベースの推論の可能性を強調する。
  論文  参考訳（メタデータ） (2025-05-24T13:32:03Z)
• Knowledge Updating? No More Model Editing! Just Selective Contextual Reasoning [38.018263569983226]
  信頼性,一般化,局所性,可搬性という4次元の10種類のモデル編集手法の評価を行った。 次に、知識更新のためのSCR(Selective Contextual Reasoning)という簡単な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:04:25Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• Propagation and Pitfalls: Reasoning-based Assessment of Knowledge Editing through Counterfactual Tasks [36.292901021210575]
  ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。 我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。 全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
  論文  参考訳（メタデータ） (2024-01-31T04:12:59Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。