論文の概要: UMASS_BioNLP at MEDIQA-Chat 2023: Can LLMs generate high-quality
synthetic note-oriented doctor-patient conversations?
- arxiv url: http://arxiv.org/abs/2306.16931v1
- Date: Thu, 29 Jun 2023 13:30:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 13:20:28.337545
- Title: UMASS_BioNLP at MEDIQA-Chat 2023: Can LLMs generate high-quality
synthetic note-oriented doctor-patient conversations?
- Title(参考訳): UMASS_BioNLP at MEDIQA-Chat 2023: LLMsは高品質なノート指向の医師と患者との会話を生成できるか?
- Authors: Junda Wang, Zonghai Yao, Avijit Mitra, Samuel Osebe, Zhichao Yang,
Hong Yu
- Abstract要約: 本稿では,タスクAとタスクCの共有タスクであるMEDIQA-Chat 2023に参加するUMASS_BioNLPチームについて述べる。
本稿では,特にタスクCに焦点をあて,高品質な会話データセットを生成するために,医師・患者ループと呼ばれる新しいLLM協調システムを提案する。
実験の結果, ROUGE, 医療コンセプトリコール, BLEU, 自己BLEUなどの自動測定値から, 適切な評価値が得られることがわかった。
- 参考スコア(独自算出の注目度): 5.858602838586936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents UMASS_BioNLP team participation in the MEDIQA-Chat 2023
shared task for Task-A and Task-C. We focus especially on Task-C and propose a
novel LLMs cooperation system named a doctor-patient loop to generate
high-quality conversation data sets. The experiment results demonstrate that
our approaches yield reasonable performance as evaluated by automatic metrics
such as ROUGE, medical concept recall, BLEU, and Self-BLEU. Furthermore, we
conducted a comparative analysis between our proposed method and ChatGPT and
GPT-4. This analysis also investigates the potential of utilizing cooperation
LLMs to generate high-quality datasets.
- Abstract(参考訳): 本稿では,タスクAとタスクCの共有タスクであるMEDIQA-Chat 2023に参加するUMASS_BioNLPチームについて述べる。
特にtask-cに着目し,質の高い会話データセットを生成するために,医師・患者連携ループと呼ばれる新しいllms協調システムを提案する。
実験の結果, ROUGE, 医療コンセプトリコール, BLEU, 自己BLEUなどの自動測定値から, 適切な評価値が得られることがわかった。
さらに,提案手法とChatGPT, GPT-4の比較分析を行った。
この分析は、高品質なデータセットを生成するために協調LLMを利用する可能性についても検討する。
関連論文リスト
- AI Hospital: Interactive Evaluation and Collaboration of LLMs as Intern
Doctors for Clinical Diagnosis [72.50974375416239]
リアルタイムのインタラクティブな診断環境を構築するために設計されたフレームワークであるAI Hospitalを紹介する。
様々な大規模言語モデル(LLM)は、対話的診断のためのインターン医師として機能する。
我々は,医療部長の監督の下で,反復的な議論と紛争解決プロセスを含む協調的なメカニズムを導入する。
論文 参考訳(メタデータ) (2024-02-15T06:46:48Z) - EHR Interaction Between Patients and AI: NoteAid EHR Interaction [7.880641398866267]
本稿では, 患者教育を支援するために, ジェネレーティブLLMを用いた革新的アプローチである NoteAid EHR Interaction Pipeline を紹介する。
MADE医療ノートコレクションからMIMIC Discharge Summariesと876のインスタンスから10,000のインスタンスを含むデータセットを抽出し、NoteAid EHR Interaction Pipelineを通して2つのタスクを実行する。
LLM評価と64例の厳密な手作業によるデータセット全体の総合的な評価を通じて,患者教育におけるLLMの可能性を示す。
論文 参考訳(メタデータ) (2023-12-29T05:13:40Z) - Integrating UMLS Knowledge into Large Language Models for Medical
Question Answering [18.06960842747575]
大規模言語モデル(LLM)は強力なテキスト生成能力を示し、医療分野に前例のない革新をもたらした。
我々は、医療コミュニティにより良いサービスを提供することを目的として、UMLS(Unified Medical Language System)に基づく拡張LLMフレームワークを開発する。
ベンチマークモデルとしてLLaMa2-13b-chatとChatGPT-3.5を採用し、LiveQAテストセットから104の質問に対してROUGEスコアとBERTScoreを用いて自動評価を行う。
論文 参考訳(メタデータ) (2023-10-04T12:50:26Z) - Augmenting Black-box LLMs with Medical Textbooks for Clinical Question
Answering [54.13933019557655]
LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。
LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。
検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
論文 参考訳(メタデータ) (2023-09-05T13:39:38Z) - An Automatic Evaluation Framework for Multi-turn Medical Consultations
Capabilities of Large Language Models [22.409334091186995]
大型言語モデル(LLM)はしばしば幻覚に悩まされ、過度に自信があるが誤った判断を下す。
本稿では,マルチターンコンサルテーションにおける仮想医師としてのLCMの実用能力を評価するための自動評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-05T09:24:48Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳(メタデータ) (2023-08-27T12:24:39Z) - WangLab at MEDIQA-Chat 2023: Clinical Note Generation from
Doctor-Patient Conversations using Large Language Models [2.3608256778747565]
我々はMEDIQA-Chat 2023の共有タスクを医師と患者との会話から自動的な臨床ノート作成のために提出した。
本稿では,共有タスクデータに事前学習言語モデル(PLM)を1つ,大言語モデル(LLM)を2つ導入し,その2つについて報告する。
専門家の人間の精査は、ICLベースのGPT-4によるアプローチによって生成されたメモが、人間によるメモと同じくらい頻繁に好まれていることを示している。
論文 参考訳(メタデータ) (2023-05-03T15:58:28Z) - Large Language Models for Healthcare Data Augmentation: An Example on
Patient-Trial Matching [49.78442796596806]
患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。
本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
論文 参考訳(メタデータ) (2023-03-24T03:14:00Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳(メタデータ) (2023-03-08T03:56:31Z) - Large Language Models for Biomedical Knowledge Graph Construction:
Information extraction from EMR notes [0.0]
大規模言語モデル(LLM)に基づくエンドツーエンド機械学習ソリューションを提案する。
KG構築プロセスで使用される物質は、疾患、因子、治療、および疾患を経験中に患者と共存する症状である。
提案手法の応用は加齢に伴う黄斑変性に対して実証される。
論文 参考訳(メタデータ) (2023-01-29T15:52:33Z) - A Benchmark for Automatic Medical Consultation System: Frameworks, Tasks
and Datasets [70.32630628211803]
本稿では,医師と患者との対話理解とタスク指向インタラクションという,医療相談の自動化を支援する2つの枠組みを提案する。
マルチレベルな微粒なアノテーションを付加した新しい大規模医療対話データセットが導入された。
本稿では,各タスクに対するベンチマーク結果のセットを報告し,データセットのユーザビリティを示し,今後の研究のベースラインを設定する。
論文 参考訳(メタデータ) (2022-04-19T16:43:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。