論文の概要: Augmenting Black-box LLMs with Medical Textbooks for Biomedical Question Answering (Published in Findings of EMNLP 2024)

• arxiv url: http://arxiv.org/abs/2309.02233v3
• Date: Mon, 07 Oct 2024 17:21:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:43:10.080303
• Title: Augmenting Black-box LLMs with Medical Textbooks for Biomedical Question Answering (Published in Findings of EMNLP 2024)
• Title（参考訳）: バイオメディカル質問応答のための医用教科書を用いたブラックボックスLCM(EMNLP 2024の発見から)
• Authors: Yubo Wang, Xueguang Ma, Wenhu Chen,
• Abstract要約: LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。 LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。 検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
• 参考スコア（独自算出の注目度）: 48.17095875619711
• License:
• Abstract: Large-scale language models (LLMs) like ChatGPT have demonstrated impressive abilities in generating responses based on human instructions. However, their use in the medical field can be challenging due to their lack of specific, in-depth knowledge. In this study, we present a system called LLMs Augmented with Medical Textbooks (LLM-AMT) designed to enhance the proficiency of LLMs in specialized domains. LLM-AMT integrates authoritative medical textbooks into the LLMs' framework using plug-and-play modules. These modules include a Query Augmenter, a Hybrid Textbook Retriever, and a Knowledge Self-Refiner. Together, they incorporate authoritative medical knowledge. Additionally, an LLM Reader aids in contextual understanding. Our experimental results on three medical QA tasks demonstrate that LLMAMT significantly improves response quality, with accuracy gains ranging from 11.6% to 16.6%. Notably, with GPT-4-Turbo as the base model, LLM-AMT outperforms the specialized Med-PaLM 2 model pre-trained on a massive amount of medical corpus by 2-3%. We found that despite being 100x smaller in size, medical textbooks as a retrieval corpus is proven to be a more effective knowledge database than Wikipedia in the medical domain, boosting performance by 7.8%-13.7%.
• Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)は、人間の指示に基づいて応答を生成する素晴らしい能力を示している。 しかし、医学分野での使用は、特定の詳細な知識が欠如しているため、困難である。 本研究では,専門分野における LLM の能力を高めるために,LLM-AMT (Medical Textbooks) を付加した LLM システムを提案する。 LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。 これらのモジュールには、Query Augmenter、Hybrid Textbook Retriever、Knowledge Self-Refinerが含まれる。 彼らは共に権威的な医学知識を取り入れた。 加えて、LLM Readerは文脈理解を支援する。 3つのQAタスクに対する実験結果から,LLMAMTは11.6%から16.6%の精度で応答品質を有意に向上することが示された。 特に、GPT-4-Turboをベースモデルとして、LPM-AMTは、大量の医療用コーパスで事前訓練された特殊なMed-PaLM 2モデルを2-3%上回る性能を示した。 検索コーパスとしての医学教科書は,100倍の規模であるにもかかわらず,医学領域におけるウィキペディアよりも効果的な知識データベースであることが証明され,パフォーマンスが7.8%～13.7%向上した。

関連論文リスト

• MEG: Medical Knowledge-Augmented Large Language Models for Question Answering [37.3562521243773]
  本稿では,医療知識を付加したLCMのパラメータ効率向上手法であるMEGを提案する。 本手法は,4つの医用マルチチョイスデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-11-06T12:57:58Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• MedREQAL: Examining Medical Knowledge Recall of Large Language Models via Question Answering [5.065947993017158]
  大きな言語モデル(LLM)は、大きなテキストコーパスで事前学習中に知識を符号化する印象的な能力を示している。 体系的レビューから得られた新しいデータセットを構築することにより, LLMが医療知識のリコールを示す能力について検討する。
  論文  参考訳（メタデータ） (2024-06-09T16:33:28Z)
• OpenMedLM: Prompt engineering can out-perform fine-tuning in medical question-answering with open-source large language models [4.556924372105915]
  オープンソース(OS)モデルは、医療用LDMにとって重要な成長領域である。 医用ベンチマークでOS LLMに対してSOTA(State-of-the-art)パフォーマンスを提供するプロンプトプラットフォームであるOpenMedLMを提案する。
  論文  参考訳（メタデータ） (2024-02-29T17:19:39Z)
• MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
  大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。 医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
  論文  参考訳（メタデータ） (2023-11-27T18:49:43Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
  大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。 本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
  論文  参考訳（メタデータ） (2023-11-09T02:55:58Z)
• Integrating UMLS Knowledge into Large Language Models for Medical Question Answering [18.06960842747575]
  大規模言語モデル(LLM)は強力なテキスト生成能力を示し、医療分野に前例のない革新をもたらした。 我々は、医療コミュニティにより良いサービスを提供することを目的として、UMLS(Unified Medical Language System)に基づく拡張LLMフレームワークを開発する。 ベンチマークモデルとしてLLaMa2-13b-chatとChatGPT-3.5を採用し、LiveQAテストセットから104の質問に対してROUGEスコアとBERTScoreを用いて自動評価を行う。
  論文  参考訳（メタデータ） (2023-10-04T12:50:26Z)
• MKRAG: Medical Knowledge Retrieval Augmented Generation for Medical Question Answering [45.84961106102445]
  大規模言語モデル(LLM)は、医療質問応答(QA)のようなドメイン固有のタスクでよく機能しないことが多い。 本稿では,医学的事実を外部知識ベースから抽出し,LLMのクエリプロンプトに注入するための総合的検索手法を提案する。 Vicuna-7Bは44.46%から48.54%の精度向上を示した。
  論文  参考訳（メタデータ） (2023-09-27T21:26:03Z)
• MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
  大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。 医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。 我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
  論文  参考訳（メタデータ） (2023-08-27T12:24:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。