論文の概要: Knowledge Editing for Large Language Model with Knowledge Neuronal Ensemble

• arxiv url: http://arxiv.org/abs/2412.20637v1
• Date: Mon, 30 Dec 2024 00:58:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 22:07:02.682922
• Title: Knowledge Editing for Large Language Model with Knowledge Neuronal Ensemble
• Title（参考訳）: 知識神経アンサンブルを用いた大規模言語モデルの知識編集
• Authors: Yongchang Li, Yujin Zhu, Tao Yan, Shijian Fan, Gang Wu, Liang Xu,
• Abstract要約: 我々は知識神経アンサンブル(KNE)と呼ばれる新しい知識編集手法を提案する。 知識ニューロンアンサンブルは、特定の知識をコードするニューロンのグループを表しており、頻繁なパラメータ修正の問題を軽減する。 3つの広く使われている知識編集データセットの実験結果から,KNE法は知識編集の精度を大幅に向上させることが示された。
• 参考スコア（独自算出の注目度）: 13.608354678065222
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As real-world knowledge is constantly evolving, ensuring the timeliness and accuracy of a model's knowledge is crucial. This has made knowledge editing in large language models increasingly important. However, existing knowledge editing methods face several challenges, including parameter localization coupling, imprecise localization, and a lack of dynamic interaction across layers. In this paper, we propose a novel knowledge editing method called Knowledge Neuronal Ensemble (KNE). A knowledge neuronal ensemble represents a group of neurons encoding specific knowledge, thus mitigating the issue of frequent parameter modification caused by coupling in parameter localization. The KNE method enhances the precision and accuracy of parameter localization by computing gradient attribution scores for each parameter at each layer. During the editing process, only the gradients and losses associated with the knowledge neuronal ensemble are computed, with error backpropagation performed accordingly, ensuring dynamic interaction and collaborative updates among parameters. Experimental results on three widely used knowledge editing datasets show that the KNE method significantly improves the accuracy of knowledge editing and achieves, or even exceeds, the performance of the best baseline methods in portability and locality metrics.
• Abstract（参考訳）: 現実世界の知識は常に進化しているので、モデルの知識のタイムラインと正確性を保証することが重要です。 これにより、大規模言語モデルの知識編集がますます重要になっている。 しかし,既存の知識編集手法では,パラメータローカライゼーション結合,不正確なローカライゼーション,レイヤ間の動的相互作用の欠如など,いくつかの課題に直面している。 本稿では,知識神経アンサンブル(KNE)と呼ばれる新しい知識編集手法を提案する。 知識ニューロンアンサンブルは、特定の知識をコードするニューロンのグループを表し、パラメータローカライゼーションにおける結合に起因する頻繁なパラメータ修飾の問題を軽減する。 KNE法は各層におけるパラメータ毎の勾配属性スコアを計算することにより,パラメータローカライゼーションの精度と精度を向上させる。 編集過程において、知識ニューロンのアンサンブルに関連する勾配と損失のみを計算し、エラーのバックプロパゲーションを行い、パラメータ間の動的相互作用と協調的な更新を確保する。 広く使用されている3つの知識編集データセットの実験結果から,KNE法は知識編集の精度を大幅に向上し,可搬性および局所性測定における最良基準法の性能を達成または超えることを示した。

関連論文リスト

• CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners [88.35958039968081]
  CaKE(Circuit-aware Knowledge Editing)は、大規模言語モデルにおける知識のより効果的な統合を可能にする新しい手法である。 その結果,CaKEは関連する推論タスクに対して,より正確で一貫した知識の活用を可能にすることがわかった。
  論文  参考訳（メタデータ） (2025-03-20T17:14:34Z)
• Precise Localization of Memories: A Fine-grained Neuron-level Knowledge Editing Technique for LLMs [47.06544781855325]
  本研究では、成功率に影響を与えることなく、局所性を改善するための微粒なニューロンレベルの知識編集(FiNE)手法を提案する。 フィードフォワードネットワーク内の特定のニューロンを正確に識別し、修正することにより、FiNEは知識のローカライゼーションと編集を大幅に改善する。
  論文  参考訳（メタデータ） (2025-03-03T01:30:28Z)
• Capability Localization: Capabilities Can be Localized rather than Individual Knowledge [22.63726568778859]
  大規模言語モデルは自然言語処理に関連するタスクにおいて優れたパフォーマンスを実現している。 従来の研究では、個々の知識は局所的なパラメータに格納され、個々の知識の保存形態は分散パラメータ、パラメータ層、パラメータチェーンであると考えられていた。 本稿では、共通性ニューロンの同定に成功し、GSM8Kデータセット上でのニューロン重複率96.42%を達成するCNL法を提案する。
  論文  参考訳（メタデータ） (2025-02-28T12:22:13Z)
• GeoEdit: Geometric Knowledge Editing for Large Language Models [52.37408324849593]
  大規模言語モデル(LLM)における最新の知識を維持するためには、定期的な更新が不可欠である。 幾何学的知識編集(GeoEdit)と呼ばれる新しいフレームワークを提案する。 GeoEditは、新しい知識更新に関連するニューロンと、一般的な知識摂動に関連するニューロンを区別する。 残りのニューロンに対しては、整列方向の古知識と新知識を統合し、反対方向の「forget-then-learn」編集戦略を適用した。
  論文  参考訳（メタデータ） (2025-02-27T10:27:48Z)
• Multilingual Knowledge Editing with Language-Agnostic Factual Neurons [98.73585104789217]
  異なる言語における同じ事実知識は一般的に、言語に依存しない事実ニューロン(LAFN)と呼ばれる共有ニューロンの集合を活性化する。 これらのニューロンは言語間で共有されるのと同じ事実知識を表しており、多言語知識間の意味的関連を示唆している。 言語非依存のFactual Neurons(LU-LAFN)を位置決め・更新することで,多言語知識を同時に編集する新しいMKE法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:06:56Z)
• Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
  現実世界の知識の大部分は、構造化されていない形式で保存される。 ローカル層キーバリューストレージや項駆動最適化のような技術は、構造化されていない知識を扱うのに有効ではない。 本研究では,非構造化知識編集手法,すなわちUnKEを提案する。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)
• Stable Knowledge Editing in Large Language Models [68.98582618305679]
  本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。 人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
  論文  参考訳（メタデータ） (2024-02-20T14:36:23Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。