論文の概要: Beyond Memorization: A Rigorous Evaluation Framework for Medical Knowledge Editing

• arxiv url: http://arxiv.org/abs/2506.03490v1
• Date: Wed, 04 Jun 2025 02:14:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.107327
• Title: Beyond Memorization: A Rigorous Evaluation Framework for Medical Knowledge Editing
• Title（参考訳）: 医療知識編集のための厳格な評価フレームワークBeyond Memorization
• Authors: Shigeng Chen, Linhao Luo, Zhangchi Qiu, Yanan Cao, Carl Yang, Shirui Pan,
• Abstract要約: 知識編集(KE)は,大規模言語モデル(LLM)の特定の事実を,完全なリトレーニングを必要とせずに更新する,有望なアプローチとして登場した。 本稿では,医療領域における既存のKE手法の有効性を厳格に評価するために,MedEditBenchという新しいフレームワークを提案する。 以上の結果から,現在のKE法は,新たなシナリオへの一般化に失敗し,インジェクションされた情報の表層記憶に留まることが示唆された。
• 参考スコア（独自算出の注目度）: 72.8373875453882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, knowledge editing (KE) has emerged as a promising approach to update specific facts in Large Language Models (LLMs) without the need for full retraining. Despite the effectiveness in general-domain benchmarks, their applicability to complex medical domain remains largely unexplored. Medical knowledge editing is particularly challenging, as it requires LLMs to internalize the knowledge and generalize to unseen scenarios for effective and interpretable decision-making. In this work, we propose a novel framework called MedEditBench to rigorously evaluate the effectiveness of existing KE methods in the medical domain. In MedEditBench, we introduce a new medical knowledge editing benchmark as well as three different knowledge editing paradigms, which are designed to assess the impact of different knowledge sources for editing. Our findings indicate that current KE methods result in only superficial memorization of the injected information, failing to generalize to new scenarios. To overcome this limitation, we present Self-Generated Rationale Editing (SGR-Edit), which utilizes model-derived rationales as the target knowledge for editing, thereby uncovering the underlying reasoning process and demonstrating significant improvements over existing KE approaches. Additionally, we offer deeper insights into medical knowledge editing, including the localization of medical knowledge in LLMs and the impact of sequential editing on evolving knowledge. This could provide practical guidance for implementing KE methods in real-world medical applications.
• Abstract（参考訳）: 近年,知識編集 (KE) は大規模言語モデル (LLM) における特定の事実を,完全なリトレーニングを必要とせずに更新するための有望なアプローチとして出現している。 一般領域のベンチマークの有効性にもかかわらず、複雑な医療領域への適用性はほとんど解明されていない。 医学知識の編集は、LLMが知識を内部化し、効果的かつ解釈可能な意思決定のための見つからないシナリオに一般化する必要があるため、特に困難である。 本稿では,医療領域における既存のKE手法の有効性を厳格に評価するために,MedEditBenchという新しいフレームワークを提案する。 MedEditBenchでは、新しい知識編集ベンチマークと3つの異なる知識編集パラダイムを導入し、異なる知識ソースが編集に与える影響を評価する。 以上の結果から,現在のKE法は,新たなシナリオへの一般化に失敗し,インジェクションされた情報の表層記憶に留まることが示唆された。 この制限を克服するために、モデル由来の論理を目標知識として活用し、基礎となる推論プロセスを明らかにするとともに、既存のKEアプローチに対する大幅な改善を示す自己生成Rationale Editing (SGR-Edit)を提案する。 さらに, LLMにおける医学知識の局在化や, 進化する知識に対する逐次的編集の影響など, 医学知識の編集に関する深い知見を提供する。 これにより、現実世界の医療アプリケーションにKEメソッドを実装するための実践的なガイダンスを提供することができる。

関連論文リスト

• Precise Localization of Memories: A Fine-grained Neuron-level Knowledge Editing Technique for LLMs [47.06544781855325]
  本研究では、成功率に影響を与えることなく、局所性を改善するための微粒なニューロンレベルの知識編集(FiNE)手法を提案する。 フィードフォワードネットワーク内の特定のニューロンを正確に識別し、修正することにより、FiNEは知識のローカライゼーションと編集を大幅に改善する。
  論文  参考訳（メタデータ） (2025-03-03T01:30:28Z)
• Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models [89.13883089162951]
  モデル編集は、大きな言語モデル(LLM)の振る舞いを、特定の知識に関連して正確に変更することを目的としている。 このアプローチは、LLMにおける幻覚や時代遅れの情報の問題に対処する上で有効であることが証明されている。 しかし、医療分野における知識の修正にモデル編集を用いることの可能性はほとんど解明されていない。
  論文  参考訳（メタデータ） (2024-02-28T06:40:57Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。