論文の概要: Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models

• arxiv url: http://arxiv.org/abs/2402.18099v2
• Date: Tue, 4 Jun 2024 14:38:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 12:38:37.461983
• Title: Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models
• Title（参考訳）: 医療用大言語モデルのファクチュアル知識と説明能力の編集
• Authors: Derong Xu, Ziheng Zhang, Zhihong Zhu, Zhenxi Lin, Qidong Liu, Xian Wu, Tong Xu, Wanyu Wang, Yuyang Ye, Xiangyu Zhao, Yefeng Zheng, Enhong Chen,
• Abstract要約: モデル編集は、大きな言語モデル(LLM)の振る舞いを、特定の知識に関連して正確に変更することを目的としている。 このアプローチは、LLMにおける幻覚や時代遅れの情報の問題に対処する上で有効であることが証明されている。 しかし、医療分野における知識の修正にモデル編集を用いることの可能性はほとんど解明されていない。
• 参考スコア（独自算出の注目度）: 89.13883089162951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model editing aims to precisely alter the behaviors of large language models (LLMs) in relation to specific knowledge, while leaving unrelated knowledge intact. This approach has proven effective in addressing issues of hallucination and outdated information in LLMs. However, the potential of using model editing to modify knowledge in the medical field remains largely unexplored, even though resolving hallucination is a pressing need in this area. Our observations indicate that current methods face significant challenges in dealing with specialized and complex knowledge in medical domain. Therefore, we propose MedLaSA, a novel Layer-wise Scalable Adapter strategy for medical model editing. MedLaSA harnesses the strengths of both adding extra parameters and locate-then-edit methods for medical model editing. We utilize causal tracing to identify the association of knowledge in neurons across different layers, and generate a corresponding scale set from the association value for each piece of knowledge. Subsequently, we incorporate scalable adapters into the dense layers of LLMs. These adapters are assigned scaling values based on the corresponding specific knowledge, which allows for the adjustment of the adapter's weight and rank. The more similar the content, the more consistent the scale between them. This ensures precise editing of semantically identical knowledge while avoiding impact on unrelated knowledge. To evaluate the editing impact on the behaviours of LLMs, we propose two model editing studies for medical domain: (1) editing factual knowledge for medical specialization and (2) editing the explanatory ability for complex knowledge. We build two novel medical benchmarking datasets and introduce a series of challenging and comprehensive metrics. Extensive experiments on medical LLMs demonstrate the editing efficiency of MedLaSA, without affecting unrelated knowledge.
• Abstract（参考訳）: モデル編集の目的は、大きな言語モデル(LLM)の振る舞いを特定の知識に関連付けて正確に変更することであり、無関係な知識をそのまま残すことである。 このアプローチは、LLMにおける幻覚や時代遅れの情報の問題に対処する上で有効であることが証明されている。 しかし, この領域では, 幻覚の解消が急務であるにもかかわらず, 医学領域における知識の修正にモデル編集を用いる可能性はほとんど解明されていない。 本研究は,医学領域における専門的・複雑な知識を扱う上で,現状の手法が重大な課題に直面していることを示唆する。 そこで我々は,MedLaSAを提案する。MedLaSAは,医療モデル編集のためのレイヤワイド・スケーラブル・アダプタ・ストラテジーである。 MedLaSAは、余分なパラメータの追加と、医療モデル編集のための位置-編集法の両方の長所を利用する。 因果的追跡を用いて、異なる階層にわたるニューロン内の知識の関連を同定し、各知識の関連値から対応する尺度を生成する。 その後、拡張性のあるアダプタをLLMの層に組み込む。 これらのアダプタは、対応する特定の知識に基づいてスケーリング値が割り当てられ、アダプタの重みとランクを調整することができる。 内容が類似すればなるほど、両者のスケールは一貫したものになる。 これは意味的に同一の知識を正確に編集し、無関係な知識に影響を与えないようにする。 LLMの行動に対する編集効果を評価するため,医学領域におけるモデル編集研究として,(1)医療専門化のための事実知識の編集,(2)複雑な知識のための説明能力の編集という2つのモデル編集研究を提案する。 2つの新しい医療ベンチマークデータセットを構築し、一連の挑戦的で包括的なメトリクスを導入します。 医学LLMに関する大規模な実験は、無関係な知識に影響を与えることなく、MedLaSAの編集効率を実証している。

関連論文リスト

• Can Knowledge Editing Really Correct Hallucinations? [16.311982837980345]
  大規模言語モデル(LLM)は、タスクにまたがる優れた能力にもかかわらず、生成されたコンテンツの非現実的な情報を参照しながら幻覚に悩まされる。 知識編集は,LLMで符号化された誤った事実知識を,スクラッチからリトレーニングを避けるという利点によって補正する,新しい一般的なパラダイムとして開発された。 実世界の幻覚を正すための知識編集手法を全体ベンチマークするために,HaluEditBenchを提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:55:54Z)
• How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
  本研究では,「複雑度」の異なる知識を取り入れた知識編集手法の能力について検討する。 新たな知識の「複雑さ」と12シナリオの編集効率との間に有意な負の相関関係が認められた。 知識階層が編集結果に与える影響のさらなる調査は、より階層的な水準にある知識が、いくつかのシナリオにおいて変更することがより困難であることを示唆している。
  論文  参考訳（メタデータ） (2024-06-25T03:41:02Z)
• Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
  近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。 本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集の課題を統一的に考察する。
  論文  参考訳（メタデータ） (2024-06-03T15:28:21Z)
• WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
  大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。 更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。 記憶のギャップを埋めるためにWISEを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:35:52Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。 既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。 知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:52:26Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Unveiling the Pitfalls of Knowledge Editing for Large Language Models [41.83423510576848]
  知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。 本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。 実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
  論文  参考訳（メタデータ） (2023-10-03T15:10:46Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。