論文の概要: Disentangling Knowledge Representations for Large Language Model Editing

• arxiv url: http://arxiv.org/abs/2505.18774v1
• Date: Sat, 24 May 2025 16:24:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.652857
• Title: Disentangling Knowledge Representations for Large Language Model Editing
• Title（参考訳）: 大規模言語モデル編集のための難解な知識表現
• Authors: Mengqi Zhang, Zisheng Zhou, Xiaotian Ye, Qiang Liu, Zhaochun Ren, Zhumin Chen, Pengjie Ren,
• Abstract要約: 我々は,LLM編集のための知識表現を分割する新しいアプローチであるDiKEを提案する。 DiKEは2つの主要なコンポーネントから構成される: 対象表現を対象知識関連および非関連コンポーネントに分解する知識表現(KRD)モジュールと、対象コンポーネントのみを更新する知識編集(DKE)モジュールである。 本研究では, 微粒な無関係知識の保存を厳密に評価するため, FINE-KEDという, 微粒な無関係知識を, 編集された知識と異なるレベルの類似度で構成した新しいベンチマークを構築した。
• 参考スコア（独自算出の注目度）: 38.244171146682206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Editing has emerged as a promising solution for efficiently updating embedded knowledge in large language models (LLMs). While existing approaches demonstrate effectiveness in integrating new knowledge and preserving the original capabilities of LLMs, they fail to maintain fine-grained irrelevant knowledge facts that share the same subject as edited knowledge but differ in relation and object. This challenge arises because subject representations inherently encode multiple attributes, causing the target and fine-grained irrelevant knowledge to become entangled in the representation space, and thus vulnerable to unintended alterations during editing. To address this, we propose DiKE, a novel approach that Disentangles Knowledge representations for LLM Editing (DiKE). DiKE consists of two key components: a Knowledge Representation Disentanglement (KRD) module that decomposes the subject representation into target-knowledgerelated and -unrelated components, and a Disentanglement-based Knowledge Edit (DKE) module that updates only the target-related component while explicitly preserving the unrelated one. We further derive a closed-form, rank-one parameter update based on matrix theory to enable efficient and minimally invasive edits. To rigorously evaluate fine-grained irrelevant knowledge preservation, we construct FINE-KED, a new benchmark comprising fine-grained irrelevant knowledge at different levels of relational similarity to the edited knowledge. Extensive experiments across multiple LLMs demonstrate that DiKE substantially improves fine-grained irrelevant knowledge preservation while maintaining competitive general editing performance.
• Abstract（参考訳）: 知識編集は,大規模言語モデル(LLM)の組み込み知識を効率的に更新するための,有望なソリューションとして登場した。 既存のアプローチは、新しい知識の統合とLLMの本来の能力の維持に効果を示すが、それらは、編集された知識と同じ主題を共有するが、関係や対象が異なる、きめ細かい無関係な知識事実を維持できない。 この課題は、主観的表現が本質的に複数の属性を符号化し、対象と細粒度の無関係な知識が表現空間に絡み合うようになり、編集中に意図しない変更に対して脆弱になるからである。 そこで我々は,LLM Editing (DiKE) のための知識表現を分割する新しいアプローチである DiKE を提案する。 DiKEは2つの主要なコンポーネントから構成される: 対象表現を対象知識関連および非関連コンポーネントに分解するKRD(Knowledge Representation Disentanglement)モジュールと、対象関連コンポーネントのみを明示的に保存しつつ、対象関連コンポーネントのみを更新するDKE(Disentanglement-based Knowledge Edit)モジュールである。 さらに、行列理論に基づくクローズドフォームのランクワンパラメータの更新を導き、効率的かつ最小限の侵襲的な編集を可能にする。 本研究では, 微粒な無関係知識の保存を厳密に評価するため, FINE-KEDという, 微粒な無関係知識を, 編集された知識と異なるレベルの類似度で構成した新しいベンチマークを構築した。 複数のLSMをまたいだ大規模な実験により、DiKEは、競合する汎用的な編集性能を維持しながら、細粒度の無関係な知識保存を大幅に改善することを示した。

関連論文リスト

• Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
  本稿では,非構造化知識編集手法,すなわちUnKEを提案する。 そこで本研究では,非局所ブロック鍵値記憶方式を提案する。 トークンのディメンションでは、コンテキストを保存しながら最後のトークンを直接編集する"期間駆動最適化"を"原因駆動最適化"に置き換えます。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。