論文の概要: Can We Edit LLMs for Long-Tail Biomedical Knowledge?

• arxiv url: http://arxiv.org/abs/2504.10421v1
• Date: Mon, 14 Apr 2025 17:08:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-22 21:47:39.832578
• Title: Can We Edit LLMs for Long-Tail Biomedical Knowledge?
• Title（参考訳）: LLMを長編バイオメディカルな知識に編集できるか?
• Authors: Xinhao Yi, Jake Lever, Kevin Bryson, Zaiqiao Meng,
• Abstract要約: 本研究は,長期の生物医学的知識を編集するための知識編集手法の有効性を検討するための総合的研究である。 以上の結果から,従来の編集手法はLLMの長細バイオメディカル知識における性能を向上させることができるが,長細バイオメディカル知識における性能は高頻度の一般知識と比較しても劣っていることが示唆された。
• 参考スコア（独自算出の注目度）: 13.462834780111768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge editing has emerged as an effective approach for updating large language models (LLMs) by modifying their internal knowledge. However, their application to the biomedical domain faces unique challenges due to the long-tailed distribution of biomedical knowledge, where rare and infrequent information is prevalent. In this paper, we conduct the first comprehensive study to investigate the effectiveness of knowledge editing methods for editing long-tail biomedical knowledge. Our results indicate that, while existing editing methods can enhance LLMs' performance on long-tail biomedical knowledge, their performance on long-tail knowledge remains inferior to that on high-frequency popular knowledge, even after editing. Our further analysis reveals that long-tail biomedical knowledge contains a significant amount of one-to-many knowledge, where one subject and relation link to multiple objects. This high prevalence of one-to-many knowledge limits the effectiveness of knowledge editing in improving LLMs' understanding of long-tail biomedical knowledge, highlighting the need for tailored strategies to bridge this performance gap.
• Abstract（参考訳）: 知識編集は、内部知識を変更することで、大きな言語モデル(LLM)を更新するための効果的なアプローチとして登場した。 しかし, バイオメディカル・ドメインへの応用は, 稀で稀な情報が多いバイオメディカル・ナレッジの長期分布により, 独特な課題に直面している。 本稿では,長期の生物医学的知識を編集するための知識編集手法の有効性を検討するために,最初の総合的研究を行う。 以上の結果から,従来の編集手法は長い尾のバイオメディカル知識においてLLMの性能を向上させることができるが,その長尾のバイオメディカル知識における性能は編集後においても高頻度の大衆知識よりも劣っていることが示唆された。 さらに分析したところ、長い尾のバイオメディカル知識には1つの主題と関係が複数の対象に結びついている1対多の知識がかなりの量含まれていることが判明した。 この1対多の知識の高頻度は、LLMの長い尾のバイオメディカル知識の理解を改善するための知識編集の有効性を制限し、このパフォーマンスギャップを埋めるための適切な戦略の必要性を強調している。

関連論文リスト

• Fact or Guesswork? Evaluating Large Language Model's Medical Knowledge with Structured One-Hop Judgment [108.55277188617035]
  大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし適用する能力はいまだ探索されていない。 既存の医療QAベンチマークの多くは、複雑な推論やマルチホップ推論を評価しており、LSM固有の医療知識を推論能力から切り離すことが困難である。 LLMの1ホップの医療知識を測定するために特別に設計されたデータセットであるMedical Knowledge Judgmentを紹介する。
  論文  参考訳（メタデータ） (2025-02-20T05:27:51Z)
• Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
  近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。 本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集の課題を統一的に考察する。
  論文  参考訳（メタデータ） (2024-06-03T15:28:21Z)
• Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models [89.13883089162951]
  モデル編集は、大きな言語モデル(LLM)の振る舞いを、特定の知識に関連して正確に変更することを目的としている。 このアプローチは、LLMにおける幻覚や時代遅れの情報の問題に対処する上で有効であることが証明されている。 しかし、医療分野における知識の修正にモデル編集を用いることの可能性はほとんど解明されていない。
  論文  参考訳（メタデータ） (2024-02-28T06:40:57Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Knowledge-tuning Large Language Models with Structured Medical Knowledge Bases for Reliable Response Generation in Chinese [29.389119917322102]
  大規模言語モデル(LLM)は、汎用ドメインにおける多種多様な自然言語処理(NLP)タスクにおいて顕著な成功を収めている。 本稿では,LLMがドメイン知識を効率的に把握するために,構造化された医療知識ベースを活用する知識チューニングを提案する。 また、医療知識ベースから構築された中国の医学知識質問応答データセットであるcMedKnowQAをリリースする。
  論文  参考訳（メタデータ） (2023-09-08T07:42:57Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。