論文の概要: RealMedQA: A pilot biomedical question answering dataset containing realistic clinical questions
- arxiv url: http://arxiv.org/abs/2408.08624v1
- Date: Fri, 16 Aug 2024 09:32:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 16:07:32.359807
- Title: RealMedQA: A pilot biomedical question answering dataset containing realistic clinical questions
- Title（参考訳）: RealMedQA: 現実的な臨床質問を含むパイロットバイオメディカル質問応答データセット
- Authors: Gregory Kell, Angus Roberts, Serge Umansky, Yuti Khare, Najma Ahmed, Nikhil Patel, Chloe Simela, Jack Coumbe, Julian Rozario, Ryan-Rhys Griffiths, Iain J. Marshall,
- Abstract要約: 本稿では,人間とLLMが生み出す現実的な臨床質問のデータセットであるRealMedQAを紹介する。
LLMは「理想的な」QAペアを生成するのに、よりコスト効率が高いことを示す。
- 参考スコア（独自算出の注目度）: 3.182594503527438
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clinical question answering systems have the potential to provide clinicians with relevant and timely answers to their questions. Nonetheless, despite the advances that have been made, adoption of these systems in clinical settings has been slow. One issue is a lack of question-answering datasets which reflect the real-world needs of health professionals. In this work, we present RealMedQA, a dataset of realistic clinical questions generated by humans and an LLM. We describe the process for generating and verifying the QA pairs and assess several QA models on BioASQ and RealMedQA to assess the relative difficulty of matching answers to questions. We show that the LLM is more cost-efficient for generating "ideal" QA pairs. Additionally, we achieve a lower lexical similarity between questions and answers than BioASQ which provides an additional challenge to the top two QA models, as per the results. We release our code and our dataset publicly to encourage further research.
- Abstract（参考訳）: 臨床質問応答システムは、臨床医に質問に対する適切なタイムリーな回答を提供する可能性がある。
しかし, 臨床現場での導入は遅れている。
問題のひとつは、健康専門家の現実的なニーズを反映した質問応答データセットの欠如だ。
本研究では,人間とLLMが生み出す現実的な臨床質問のデータセットであるRealMedQAを紹介する。
本稿では,QAペアの生成と検証のプロセスについて述べるとともに,BioASQとRealMedQAで複数のQAモデルを評価し,質問に対する回答の適合の相対的困難さを評価する。
LLMは「理想的な」QAペアを生成するのに、よりコスト効率が高いことを示す。
さらに、BioASQよりも質問と回答の語彙的類似性が低くなり、結果によると、上位2つのQAモデルにさらなる課題がもたらされる。
コードとデータセットを公開して、さらなる研究を奨励しています。
関連論文リスト
- Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。
医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。
実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
論文 参考訳（メタデータ） (2024-11-14T06:19:18Z) - AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。
CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。
ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
論文 参考訳（メタデータ） (2024-10-25T17:06:27Z) - ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering [54.80411755871931]
質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。
化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。
このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。
収集したデータを完全に活用して,化学的な問題に効果的に答えるQAMatchモデルを提案する。
論文 参考訳（メタデータ） (2024-07-24T01:46:55Z) - Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。
まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。
次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。
ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
論文 参考訳（メタデータ） (2024-04-25T15:51:06Z) - Benchmarking Large Language Models on Answering and Explaining Challenging Medical Questions [19.436999992810797]
JAMAクリニカルチャレンジとメドブルレットという2つの新しいデータセットを構築した。
JAMAクリニカルチャレンジは、挑戦的な臨床ケースに基づく質問から成り、メドブルレットはシミュレートされた臨床質問から成り立っている。
各種のプロンプトを用いて2つのデータセット上で7つのLSMを評価する。
論文 参考訳（メタデータ） (2024-02-28T05:44:41Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-02-15T06:46:48Z) - K-QA: A Real-World Medical Q&A Benchmark [12.636564634626422]
K-QA(K-QA)は、K Health上での実際の会話から発せられる1,212の患者質問を含むデータセットである。
我々は,K-QAのサブセットを自己完結文に分解するために,内科医のパネルを用いて回答し,手動で分解する。
我々は、いくつかの最先端モデルと、コンテキスト内学習と医学指向の拡張検索スキームの効果を評価した。
論文 参考訳（メタデータ） (2024-01-25T20:11:04Z) - XAIQA: Explainer-Based Data Augmentation for Extractive Question
Answering [1.1867812760085572]
我々は,電子カルテで自然に利用可能なデータから,合成QAペアを大規模に生成するための新しいアプローチであるXAIQAを紹介する。
本手法は、分類モデル説明器の考え方を用いて、医療規範に対応する医療概念に関する質問や回答を生成する。
論文 参考訳（メタデータ） (2023-12-06T15:59:06Z) - Learning to Ask Like a Physician [24.15961995052862]
2,000以上の質問からなる新たな質問データセットDiSCQについて紹介する。
質問は、100以上のMIMIC-III放電サマリーの医療専門家によって生成される。
我々は、このデータセットを分析し、医療専門家が求めている情報のタイプを特徴付ける。
論文 参考訳（メタデータ） (2022-06-06T15:50:54Z) - RxWhyQA: a clinical question-answering dataset with the challenge of
multi-answer questions [4.017119245460155]
我々は,複数問合せを処理可能な臨床問合せシステムの開発と評価のためのデータセットを作成する。
1-to-0と1-to-Nの薬物親和関係は、解答不能および複数解答項目を形成した。
論文 参考訳（メタデータ） (2022-01-07T15:58:58Z) - Medical Visual Question Answering: A Survey [55.53205317089564]
VQA(Medicical Visual Question Answering)は、医療用人工知能と一般的なVQA課題の組み合わせである。
医療用VQAシステムは,医療用画像と自然言語による臨床的に関連性のある質問を前提として,妥当かつ説得力のある回答を予測することが期待されている。
論文 参考訳（メタデータ） (2021-11-19T05:55:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。