論文の概要: Precise Localization of Memories: A Fine-grained Neuron-level Knowledge Editing Technique for LLMs

• arxiv url: http://arxiv.org/abs/2503.01090v1
• Date: Mon, 03 Mar 2025 01:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:20:25.005685
• Title: Precise Localization of Memories: A Fine-grained Neuron-level Knowledge Editing Technique for LLMs
• Title（参考訳）: 記憶の精密な局在化:LLMのためのきめ細かいニューロンレベルの知識編集技術
• Authors: Haowen Pan, Xiaozhi Wang, Yixin Cao, Zenglin Shi, Xun Yang, Juanzi Li, Meng Wang,
• Abstract要約: 本研究では、成功率に影響を与えることなく、局所性を改善するための微粒なニューロンレベルの知識編集(FiNE)手法を提案する。 フィードフォワードネットワーク内の特定のニューロンを正確に識別し、修正することにより、FiNEは知識のローカライゼーションと編集を大幅に改善する。
• 参考スコア（独自算出の注目度）: 47.06544781855325
• License:
• Abstract: Knowledge editing aims to update outdated information in Large Language Models (LLMs). A representative line of study is locate-then-edit methods, which typically employ causal tracing to identify the modules responsible for recalling factual knowledge about entities. However, we find these methods are often sensitive only to changes in the subject entity, leaving them less effective at adapting to changes in relations. This limitation results in poor editing locality, which can lead to the persistence of irrelevant or inaccurate facts, ultimately compromising the reliability of LLMs. We believe this issue arises from the insufficient precision of knowledge localization. To address this, we propose a Fine-grained Neuron-level Knowledge Editing (FiNE) method that enhances editing locality without affecting overall success rates. By precisely identifying and modifying specific neurons within feed-forward networks, FiNE significantly improves knowledge localization and editing. Quantitative experiments demonstrate that FiNE efficiently achieves better overall performance compared to existing techniques, providing new insights into the localization and modification of knowledge within LLMs.
• Abstract（参考訳）: 知識編集は、Large Language Models (LLMs)における時代遅れの情報を更新することを目的としている。 典型的な研究の行は位置-then-edit法であり、通常は因果トレースを用いて実体に関する事実的知識を想起するモジュールを特定する。 しかし,これらの手法は主観的実体の変化にのみ敏感であり,関係性の変化に適応する効果が低いことが判明した。 この制限により、編集の局所性が低下し、不適切な事実や不正確な事実が持続し、最終的にLLMの信頼性が損なわれる。 この問題は、知識のローカライゼーションの精度が不十分なことから生じると我々は信じている。 そこで本研究では, 局所性の向上を図り, 全体の成功率に影響を及ぼすことなく, 局所性を向上する微粒なニューロンレベルの知識編集手法を提案する。 フィードフォワードネットワーク内の特定のニューロンを正確に識別し、修正することにより、FiNEは知識のローカライゼーションと編集を大幅に改善する。 定量的実験により、FiNEは既存の技術と比較して効率よく全体的な性能を向上し、LLM内の知識の局在化と修正に関する新たな洞察を提供する。

関連論文リスト

• Knowledge Editing for Large Language Model with Knowledge Neuronal Ensemble [13.608354678065222]
  我々は知識神経アンサンブル(KNE)と呼ばれる新しい知識編集手法を提案する。 知識ニューロンアンサンブルは、特定の知識をコードするニューロンのグループを表しており、頻繁なパラメータ修正の問題を軽減する。 3つの広く使われている知識編集データセットの実験結果から,KNE法は知識編集の精度を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-12-30T00:58:00Z)
• Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
  近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。 本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集の課題を統一的に考察する。
  論文  参考訳（メタデータ） (2024-06-03T15:28:21Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models [89.13883089162951]
  モデル編集は、大きな言語モデル(LLM)の振る舞いを、特定の知識に関連して正確に変更することを目的としている。 このアプローチは、LLMにおける幻覚や時代遅れの情報の問題に対処する上で有効であることが証明されている。 しかし、医療分野における知識の修正にモデル編集を用いることの可能性はほとんど解明されていない。
  論文  参考訳（メタデータ） (2024-02-28T06:40:57Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Evaluating Dependencies in Fact Editing for Language Models: Specificity and Implication Awareness [26.589633375359647]
  学習した事実の編集が、知識の依存として知られる内部的な論理的制約を尊重することを確実にすることを目的としている。 LLMの編集作業は、ある事実の編集が関係のないものを破壊することなく、その語彙のバリエーションに適用されるべきである場合、依存関係の問題に部分的に対処している。 本稿では,関連する質問応答データセットであるDepEditを用いた評価プロトコルを提案し,編集プロセスの総合的な評価を行う。
  論文  参考訳（メタデータ） (2023-12-04T12:45:30Z)
• Unveiling the Pitfalls of Knowledge Editing for Large Language Models [41.83423510576848]
  知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。 本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。 実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
  論文  参考訳（メタデータ） (2023-10-03T15:10:46Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。