論文の概要: Few shot chain-of-thought driven reasoning to prompt LLMs for open ended
medical question answering
- arxiv url: http://arxiv.org/abs/2403.04890v1
- Date: Thu, 7 Mar 2024 20:48:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 21:47:54.968322
- Title: Few shot chain-of-thought driven reasoning to prompt LLMs for open ended
medical question answering
- Title(参考訳): オープンエンド医療質問応答のためのLCMを誘導するチェーン・オブ・シークレット推論
- Authors: Ojas Gramopadhye, Saeel Sandeep Nachane, Prateek Chanda, Ganesh
Ramakrishnan, Kshitij Sharad Jadhav, Yatin Nandwani, Dinesh Raghu, Sachindra
Joshi
- Abstract要約: 我々は,実生活における臨床シナリオを模倣するために,主観的なMedQA-USMLEデータセットの修正版を提案する。
我々は、主観的なMedQAデータセットに対して、arXiv:2207.08143から5-shot-codex-CoT-promptを修正し、インクリメンタル推論のプロンプトを開発することで、より良いコントラスト学習戦略を開発する。
- 参考スコア(独自算出の注目度): 25.163347677278182
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language models (LLMs) have demonstrated significant potential in
transforming healthcare by automating tasks such as clinical documentation,
information retrieval, and decision support. In this aspect, carefully
engineered prompts have emerged as a powerful tool for using LLMs for medical
scenarios, e.g., patient clinical scenarios. In this paper, we propose a
modified version of the MedQA-USMLE dataset, which is subjective, to mimic
real-life clinical scenarios. We explore the Chain of Thought (CoT) reasoning
based on subjective response generation for the modified MedQA-USMLE dataset
with appropriate LM-driven forward reasoning for correct responses to the
medical questions. Keeping in mind the importance of response verification in
the medical setting, we utilize a reward training mechanism whereby the
language model also provides an appropriate verified response for a particular
response to a clinical question. In this regard, we also include
human-in-the-loop for different evaluation aspects. We develop better
in-contrast learning strategies by modifying the 5-shot-codex-CoT-prompt from
arXiv:2207.08143 for the subjective MedQA dataset and developing our
incremental-reasoning prompt. Our evaluations show that the incremental
reasoning prompt performs better than the modified codex prompt in certain
scenarios. We also show that greedy decoding with the incremental reasoning
method performs better than other strategies, such as prompt chaining and
eliminative reasoning.
- Abstract(参考訳): 大規模言語モデル(LLM)は、臨床ドキュメント、情報検索、意思決定支援などのタスクを自動化することで、医療を変革する大きな可能性を実証している。
この点において、慎重に設計されたプロンプトは、医療シナリオ、例えば患者の臨床シナリオにLLMを使用するための強力なツールとして現れている。
本稿では,実際の臨床シナリオを模倣するために主観的なmedqa-usmleデータセットの修正版を提案する。
医学的問題に対する適切なLM駆動前方推論を用いた修正MedQA-USMLEデータセットの主観応答生成に基づく思考の連鎖推論(CoT)について検討する。
医療現場における応答検証の重要性を念頭に置いて,言語モデルが臨床質問に対する特定の応答に対して適切な応答を提供するための報酬訓練機構を利用する。
この点に関しては,評価面の異なるHuman-in-the-loopも含んでいる。
主観的medqaデータセットに対するarxiv:2207.08143の5-shot-codex-cot-promptを修正し,インクリメンタルな分析プロンプトを開発することにより,コントラスト内学習戦略を改善する。
評価の結果,特定のシナリオにおいて,インクリメンタル推論のプロンプトはコーデックスのプロンプトよりも優れていた。
また,インクリメンタル推論手法によるグリージーデコーディングは,プロンプト連鎖や固有推論など,他の手法よりも優れていることを示す。
関連論文リスト
- Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - Extrinsically-Focused Evaluation of Omissions in Medical Summarization [10.02553223045504]
MED-OMITは医用要約のための新しい省略ベンチマークである。
医師と患者の会話と生成された要約から、MED-OMITはチャットを一連の事実に分類し、要約から省略されるものを特定する。
我々は,MED-OMITを患者と医師の会話の公開データセットで評価し,MED-OMITが他の指標よりも欠落を捉えていることを確認した。
論文 参考訳(メタデータ) (2023-11-14T16:46:15Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳(メタデータ) (2023-03-23T04:47:46Z) - Large Language Models Encode Clinical Knowledge [21.630872464930587]
大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。
本稿では, 現実性, 正確性, 潜在的害, バイアスを含む複数の軸に沿ったモデル回答の人為的評価のための枠組みを提案する。
本研究は,モデル尺度とインストラクション・インシデント・チューニングにより,理解,知識の想起,医学的推論が向上することを示す。
論文 参考訳(メタデータ) (2022-12-26T14:28:24Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳(メタデータ) (2021-08-02T10:42:52Z) - Semi-Supervised Variational Reasoning for Medical Dialogue Generation [70.838542865384]
医療対話生成には,患者の状態と医師の行動の2つの重要な特徴がある。
医療対話生成のためのエンドツーエンドの変分推論手法を提案する。
行動分類器と2つの推論検出器から構成される医師政策ネットワークは、拡張推論能力のために提案される。
論文 参考訳(メタデータ) (2021-05-13T04:14:35Z) - Benchmarking Automated Clinical Language Simplification: Dataset,
Algorithm, and Evaluation [48.87254340298189]
我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。
我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-12-04T06:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。