論文の概要: Augmenting Black-box LLMs with Medical Textbooks for Clinical Question
Answering
- arxiv url: http://arxiv.org/abs/2309.02233v1
- Date: Tue, 5 Sep 2023 13:39:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 14:35:03.440973
- Title: Augmenting Black-box LLMs with Medical Textbooks for Clinical Question
Answering
- Title(参考訳): 医療用教科書を用いたブラックボックス式LCMの臨床質問応答
- Authors: Yubo Wang, Xueguang Ma, Wenhu Chen
- Abstract要約: 大規模言語モデル(LLM)は、タスク指向の対話や質問応答といった下流タスクに対して、人間のような応答を生成することができる。
本稿では,医学教科書を用いた大規模言語モデル (LLM-AMT) について紹介する。
実験の結果,教科書の増補はウィキペディアの増補よりも9.7%から12.2%に向上した。
- 参考スコア(独自算出の注目度): 54.13933019557655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale language models (LLMs), such as ChatGPT, are capable of
generating human-like responses for various downstream tasks, such as
task-oriented dialogues and question answering. However, applying LLMs to
medical domains remains challenging due to their inability to leverage
domain-specific knowledge. In this study, we present the Large-scale Language
Models Augmented with Medical Textbooks (LLM-AMT), which integrates
authoritative medical textbooks as the cornerstone of its design, enhancing its
proficiency in the specialized domain through plug-and-play modules, comprised
of a Hybrid Textbook Retriever, supplemented by the Query Augmenter and the LLM
Reader. Experimental evaluation on three open-domain medical question-answering
tasks reveals a substantial enhancement in both the professionalism and
accuracy of the LLM responses when utilizing LLM-AMT, exhibiting an improvement
ranging from 11.4% to 13.2%. Despite being 100 times smaller, we found that
medical textbooks as the retrieval corpus serves as a more valuable external
knowledge source than Wikipedia in the medical domain. Our experiments show
that textbook augmentation results in a performance improvement ranging from
9.7% to 12.2% over Wikipedia augmentation.
- Abstract(参考訳): ChatGPTのような大規模言語モデル(LLM)は、タスク指向の対話や質問応答など、さまざまな下流タスクに対してヒューマンライクな応答を生成することができる。
しかし、LLMを医学領域に適用することは、ドメイン固有の知識を活用できないため、依然として困難である。
本研究では,医療用テキストを付加した大規模言語モデル (LLM-AMT) を提案し,その設計の基盤として権威ある医療用教科書を統合し,クエリ・オーグメンタとLCMリーダによって補完されたハイブリッドテキストブック・レトリバーからなるプラグイン・アンド・プレイ・モジュールを通じて,特定のドメインにおける習熟度を高めた。
3つのオープンドメイン医療質問応答タスクに対する実験的評価は、LSM-AMTを利用する場合のプロ主義とLSM応答の精度の両方が大幅に向上し、11.4%から13.2%の改善が見られた。
検索コーパスとしての医学教科書は,100倍小さいにもかかわらず,医学領域におけるウィキペディアよりも貴重な外部知識源であることがわかった。
実験の結果,教科書の増補はウィキペディアの増補よりも9.7%から12.2%に向上した。
関連論文リスト
- OpenMedLM: Prompt engineering can out-perform fine-tuning in medical
question-answering with open-source large language models [4.556924372105915]
オープンソース(OS)モデルは、医療用LDMにとって重要な成長領域である。
医用ベンチマークでOS LLMに対してSOTA(State-of-the-art)パフォーマンスを提供するプロンプトプラットフォームであるOpenMedLMを提案する。
論文 参考訳(メタデータ) (2024-02-29T17:19:39Z) - Editing Factual Knowledge and Explanatory Ability of Medical Large
Language Models [95.4008873587564]
モデル編集は、特定の知識に基づいて大きな言語モデル(LLM)の振る舞いを正確に修正することを目的としている。
LLMの幻覚や時代遅れの問題の解決に有効であることが証明されている。
本稿では,2つのモデル編集研究を提案し,それらを医療領域で検証する。
論文 参考訳(メタデータ) (2024-02-28T06:40:57Z) - JMLR: Joint Medical LLM and Retrieval Training for Enhancing Reasoning and Professional Question Answering Capability [8.476124605775976]
LLM(Large Language Models)は、医学知識の獲得と質問応答において顕著な可能性を実証している。
JMLR (Jointly Train LLM) と情報検索 (Information Retrieval, IR) を微調整時に導入する。
シンクロナイズドトレーニングメカニズムは、JMLRが臨床ガイドラインを検索し、医療知識を活用して推論し、質問に答える能力を高める。
論文 参考訳(メタデータ) (2024-02-27T21:01:41Z) - MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。
医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
論文 参考訳(メタデータ) (2023-11-27T18:49:43Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - A Survey of Large Language Models in Medicine: Progress, Application,
and Challenge [86.4234483148876]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳(メタデータ) (2023-11-09T02:55:58Z) - Integrating UMLS Knowledge into Large Language Models for Medical
Question Answering [18.06960842747575]
大規模言語モデル(LLM)は強力なテキスト生成能力を示し、医療分野に前例のない革新をもたらした。
我々は、医療コミュニティにより良いサービスを提供することを目的として、UMLS(Unified Medical Language System)に基づく拡張LLMフレームワークを開発する。
ベンチマークモデルとしてLLaMa2-13b-chatとChatGPT-3.5を採用し、LiveQAテストセットから104の質問に対してROUGEスコアとBERTScoreを用いて自動評価を行う。
論文 参考訳(メタデータ) (2023-10-04T12:50:26Z) - Knowledge-tuning Large Language Models with Structured Medical Knowledge
Bases for Reliable Response Generation in Chinese [29.389119917322102]
大規模言語モデル(LLM)は、汎用ドメインにおける多種多様な自然言語処理(NLP)タスクにおいて顕著な成功を収めている。
本稿では,LLMがドメイン知識を効率的に把握するために,構造化された医療知識ベースを活用する知識チューニングを提案する。
また、医療知識ベースから構築された中国の医学知識質問応答データセットであるcMedKnowQAをリリースする。
論文 参考訳(メタデータ) (2023-09-08T07:42:57Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳(メタデータ) (2023-08-27T12:24:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。