論文の概要: Knowledge Editing for Large Language Model with Knowledge Neuronal Ensemble

• arxiv url: http://arxiv.org/abs/2412.20637v1
• Date: Mon, 30 Dec 2024 00:58:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:01:14.078106
• Title: Knowledge Editing for Large Language Model with Knowledge Neuronal Ensemble
• Title（参考訳）: 知識神経アンサンブルを用いた大規模言語モデルの知識編集
• Authors: Yongchang Li, Yujin Zhu, Tao Yan, Shijian Fan, Gang Wu, Liang Xu,
• Abstract要約: 我々は知識神経アンサンブル(KNE)と呼ばれる新しい知識編集手法を提案する。 知識ニューロンアンサンブルは、特定の知識をコードするニューロンのグループを表しており、頻繁なパラメータ修正の問題を軽減する。 3つの広く使われている知識編集データセットの実験結果から,KNE法は知識編集の精度を大幅に向上させることが示された。
• 参考スコア（独自算出の注目度）: 13.608354678065222
• License:
• Abstract: As real-world knowledge is constantly evolving, ensuring the timeliness and accuracy of a model's knowledge is crucial. This has made knowledge editing in large language models increasingly important. However, existing knowledge editing methods face several challenges, including parameter localization coupling, imprecise localization, and a lack of dynamic interaction across layers. In this paper, we propose a novel knowledge editing method called Knowledge Neuronal Ensemble (KNE). A knowledge neuronal ensemble represents a group of neurons encoding specific knowledge, thus mitigating the issue of frequent parameter modification caused by coupling in parameter localization. The KNE method enhances the precision and accuracy of parameter localization by computing gradient attribution scores for each parameter at each layer. During the editing process, only the gradients and losses associated with the knowledge neuronal ensemble are computed, with error backpropagation performed accordingly, ensuring dynamic interaction and collaborative updates among parameters. Experimental results on three widely used knowledge editing datasets show that the KNE method significantly improves the accuracy of knowledge editing and achieves, or even exceeds, the performance of the best baseline methods in portability and locality metrics.
• Abstract（参考訳）: 現実世界の知識は常に進化しているので、モデルの知識のタイムラインと正確性を保証することが重要です。 これにより、大規模言語モデルの知識編集がますます重要になっている。 しかし,既存の知識編集手法では,パラメータローカライゼーション結合,不正確なローカライゼーション,レイヤ間の動的相互作用の欠如など,いくつかの課題に直面している。 本稿では,知識神経アンサンブル(KNE)と呼ばれる新しい知識編集手法を提案する。 知識ニューロンアンサンブルは、特定の知識をコードするニューロンのグループを表し、パラメータローカライゼーションにおける結合に起因する頻繁なパラメータ修飾の問題を軽減する。 KNE法は各層におけるパラメータ毎の勾配属性スコアを計算することにより,パラメータローカライゼーションの精度と精度を向上させる。 編集過程において、知識ニューロンのアンサンブルに関連する勾配と損失のみを計算し、エラーのバックプロパゲーションを行い、パラメータ間の動的相互作用と協調的な更新を確保する。 広く使用されている3つの知識編集データセットの実験結果から,KNE法は知識編集の精度を大幅に向上し,可搬性および局所性測定における最良基準法の性能を達成または超えることを示した。

関連論文リスト

• How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
  大規模言語モデル(LLM)は目覚ましい能力を示しているが、トレーニング後の知識の更新は依然として重要な課題である。 我々は,新しい知識がLLMの学習された概念的階層や分類的関係と矛盾する程度であるパープレキシングネスの概念を紹介する。 我々の分析によると、より抽象的な概念(ハイポニム)を含む編集は一般的に、より難易度が高く、特定の概念(ハイポニム)よりも修正に耐性がある。
  論文  参考訳（メタデータ） (2024-06-25T03:41:02Z)
• Multilingual Knowledge Editing with Language-Agnostic Factual Neurons [98.73585104789217]
  異なる言語における同じ事実知識は一般的に、言語に依存しない事実ニューロン(LAFN)と呼ばれる共有ニューロンの集合を活性化する。 これらのニューロンは言語間で共有されるのと同じ事実知識を表しており、多言語知識間の意味的関連を示唆している。 言語非依存のFactual Neurons(LU-LAFN)を位置決め・更新することで,多言語知識を同時に編集する新しいMKE法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:06:56Z)
• Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
  近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。 本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集の課題を統一的に考察する。
  論文  参考訳（メタデータ） (2024-06-03T15:28:21Z)
• Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models [89.13883089162951]
  モデル編集は、大きな言語モデル(LLM)の振る舞いを、特定の知識に関連して正確に変更することを目的としている。 このアプローチは、LLMにおける幻覚や時代遅れの情報の問題に対処する上で有効であることが証明されている。 しかし、医療分野における知識の修正にモデル編集を用いることの可能性はほとんど解明されていない。
  論文  参考訳（メタデータ） (2024-02-28T06:40:57Z)
• Stable Knowledge Editing in Large Language Models [68.98582618305679]
  本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。 人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
  論文  参考訳（メタデータ） (2024-02-20T14:36:23Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Assessing Knowledge Editing in Language Models via Relation Perspective [21.64869056276927]
  本稿では,関係に基づく知識編集に焦点を当てたRaKEという新しいベンチマークを構築した。 我々は,様々な知識編集ベースラインを含む総合的な実験を評価・実施するための,革新的な指標のセットを構築した。 本研究結果は,関係に関する知識がFFNネットワークだけでなく,注目層にも蓄積されていることを確認する。
  論文  参考訳（メタデータ） (2023-11-15T15:44:42Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Normalizing Flow-based Neural Process for Few-Shot Knowledge Graph Completion [69.55700751102376]
  FKGC (Few-shot Knowledge Graph completion) は、失明した事実を、無意味な関連のある事実で予測することを目的としている。 既存のFKGC手法はメートル法学習やメタラーニングに基づいており、しばしば分布外や過度に適合する問題に悩まされる。 本稿では,数ショット知識グラフ補完(NP-FKGC)のためのフローベースニューラルプロセスの正規化を提案する。
  論文  参考訳（メタデータ） (2023-04-17T11:42:28Z)
• Injecting Domain Knowledge in Language Models for Task-Oriented Dialogue Systems [9.983102639594899]
  プレトレーニング言語モデル(PLM)は、NLPアプリケーションにまたがる最先端の言語モデルである。 事前学習データに自然に発生することのないドメイン固有の知識は欠如している。 従来の研究では、下流の異なるNLPタスクに象徴的な知識を持つPLMが強化された。
  論文  参考訳（メタデータ） (2022-12-15T20:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。