論文の概要: MedDoc-Bot: A Chat Tool for Comparative Analysis of Large Language Models in the Context of the Pediatric Hypertension Guideline

• arxiv url: http://arxiv.org/abs/2405.03359v1
• Date: Mon, 6 May 2024 11:11:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 14:06:06.106919
• Title: MedDoc-Bot: A Chat Tool for Comparative Analysis of Large Language Models in the Context of the Pediatric Hypertension Guideline
• Title（参考訳）: MedDoc-Bot:小児高血圧ガイドラインの文脈における大規模言語モデルの比較分析のためのチャットツール
• Authors: Mohamed Yaseen Jabarulla, Steffen Oeltze-Jafra, Philipp Beerbaum, Theodor Uden,
• Abstract要約: 本研究は、PDF形式で保存された医療ガイドラインの解釈に有効であるとして、非商用オープンソース大言語モデル(LLMs)であるMeditron、MedAlpaca、Mistral、Llama-2を評価することに焦点を当てる。
• 参考スコア（独自算出の注目度）: 1.0585322292005965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This research focuses on evaluating the non-commercial open-source large language models (LLMs) Meditron, MedAlpaca, Mistral, and Llama-2 for their efficacy in interpreting medical guidelines saved in PDF format. As a specific test scenario, we applied these models to the guidelines for hypertension in children and adolescents provided by the European Society of Cardiology (ESC). Leveraging Streamlit, a Python library, we developed a user-friendly medical document chatbot tool (MedDoc-Bot). This tool enables authorized users to upload PDF files and pose questions, generating interpretive responses from four locally stored LLMs. A pediatric expert provides a benchmark for evaluation by formulating questions and responses extracted from the ESC guidelines. The expert rates the model-generated responses based on their fidelity and relevance. Additionally, we evaluated the METEOR and chrF metric scores to assess the similarity of model responses to reference answers. Our study found that Llama-2 and Mistral performed well in metrics evaluation. However, Llama-2 was slower when dealing with text and tabular data. In our human evaluation, we observed that responses created by Mistral, Meditron, and Llama-2 exhibited reasonable fidelity and relevance. This study provides valuable insights into the strengths and limitations of LLMs for future developments in medical document interpretation. Open-Source Code: https://github.com/yaseen28/MedDoc-Bot
• Abstract（参考訳）: 本研究は、PDF形式で保存された医療ガイドラインの解釈に有効であるとして、非商用オープンソース大言語モデル(LLMs)であるMeditron、MedAlpaca、Mistral、Llama-2を評価することに焦点を当てる。 特定のテストシナリオとして,欧州心疾患学会(ESC)が提供する小児・青年期の高血圧治療ガイドラインにこれらのモデルを適用した。 PythonライブラリであるStreamlitを活用して、ユーザフレンドリな医療ドキュメントチャットボットツール(MedDoc-Bot)を開発しました。 このツールは、許可されたユーザがPDFファイルをアップロードし、質問をすることで、4つのローカルに格納されたLCMから解釈応答を生成する。 小児科の専門家は、ESCガイドラインから抽出した質問や回答を定式化して評価するためのベンチマークを提供する。 専門家はモデルが生成した応答を、その忠実さと関連性に基づいて評価する。 さらに,参照応答に対するモデル応答の類似性を評価するために,METEORとchrFの測定値を評価した。 その結果,Llama-2とMistralは測定値の評価に優れていた。 しかし、Llama-2はテキストや表データを扱うのが遅い。 ヒトの評価では,Mistral,Medtron,Llama-2の反応は妥当な忠実度と妥当性を示した。 本研究は,医学文書解釈におけるLCMの長所と短所に関する貴重な知見を提供する。 オープンソースコード:https://github.com/yaseen28/MedDoc-Bot

関連論文リスト

• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• AutoMIR: Effective Zero-Shot Medical Information Retrieval without Relevance Labels [19.90354530235266]
  本稿では,自己学習仮説文書埋め込み (SL-HyDE) という新しい手法を導入し,この問題に対処する。 SL-HyDEは、与えられたクエリに基づいて仮説文書を生成するために、大きな言語モデル(LLM)をジェネレータとして利用する。 実世界の医療シナリオを基盤とした総合的な評価フレームワークとして,中国医療情報検索ベンチマーク(CMIRB)を提案する。
  論文  参考訳（メタデータ） (2024-10-26T02:53:20Z)
• How do you know that? Teaching Generative Language Models to Reference Answers to Biomedical Questions [0.0]
  大規模言語モデル(LLM)が最近,ユーザの質問に対するオンライン回答の主要なソースになっている。 雄弁な答えを提供する能力があるにもかかわらず、その正確さと信頼性は重大な課題となる。 本稿では, バイオメディカル検索強化生成システム(RAG)を導入し, 生成した応答の信頼性を高める。
  論文  参考訳（メタデータ） (2024-07-06T09:10:05Z)
• MedExQA: Medical Question Answering Benchmark with Multiple Explanations [2.2246416434538308]
  本稿では,MedExQAについて紹介する。MedExQAは,医学的知識に関する大規模言語モデル (LLM) の理解を説明を通じて評価するための,医学的質問応答の新しいベンチマークである。 5つの異なる医療専門分野のデータセットを構築することで、現在の医療QAベンチマークの大きなギャップに対処する。 本研究は、医学LLMにおける説明可能性の重要性を強調し、分類精度以上のモデルを評価する効果的な方法論を提案し、特定の分野である音声言語病理学に光を当てる。
  論文  参考訳（メタデータ） (2024-06-10T14:47:04Z)
• MedInsight: A Multi-Source Context Augmentation Framework for Generating Patient-Centric Medical Responses using Large Language Models [3.0874677990361246]
  大きな言語モデル(LLM)は、人間のような応答を生成する素晴らしい能力を示している。 我々は,LLM入力を関連背景情報で拡張する新しい検索フレームワークMedInsightを提案する。 MTSamplesデータセットの実験は、文脈的に適切な医療応答を生成するMedInsightの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-13T15:20:30Z)
• Augmenting Black-box LLMs with Medical Textbooks for Biomedical Question Answering (Published in Findings of EMNLP 2024) [48.17095875619711]
  LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。 LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。 検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
  論文  参考訳（メタデータ） (2023-09-05T13:39:38Z)
• Med-Flamingo: a Multimodal Medical Few-shot Learner [58.85676013818811]
  医療領域に適応したマルチモーダル・数ショット学習者であるMed-Flamingoを提案する。 OpenFlamingo-9Bに基づいて、出版物や教科書からの医療画像テキストデータのペア化とインターリーブ化を継続する。 本研究は,医療用VQA(ジェネレーティブ医療用VQA)の最初の人間評価である。
  論文  参考訳（メタデータ） (2023-07-27T20:36:02Z)
• Large Language Models Encode Clinical Knowledge [21.630872464930587]
  大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。 本稿では, 現実性, 正確性, 潜在的害, バイアスを含む複数の軸に沿ったモデル回答の人為的評価のための枠組みを提案する。 本研究は,モデル尺度とインストラクション・インシデント・チューニングにより,理解,知識の想起,医学的推論が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-26T14:28:24Z)
• Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
  本稿では,Re$3$Writer法を提案する。 本手法が患者の退院指示生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:34:39Z)
• MedPerf: Open Benchmarking Platform for Medical Artificial Intelligence using Federated Evaluation [110.31526448744096]
  この可能性を解き明かすには、大規模な異種データに対して医療AIモデルの性能を測定する体系的な方法が必要である、と私たちは主張する。 MedPerfは、医療分野で機械学習をベンチマークするためのオープンフレームワークです。
  論文  参考訳（メタデータ） (2021-09-29T18:09:41Z)
• Semi-Supervised Variational Reasoning for Medical Dialogue Generation [70.838542865384]
  医療対話生成には,患者の状態と医師の行動の2つの重要な特徴がある。 医療対話生成のためのエンドツーエンドの変分推論手法を提案する。 行動分類器と2つの推論検出器から構成される医師政策ネットワークは、拡張推論能力のために提案される。
  論文  参考訳（メタデータ） (2021-05-13T04:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。