論文の概要: An Empirical Evaluation of Prompting Strategies for Large Language
Models in Zero-Shot Clinical Natural Language Processing
- arxiv url: http://arxiv.org/abs/2309.08008v1
- Date: Thu, 14 Sep 2023 19:35:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 16:56:48.203793
- Title: An Empirical Evaluation of Prompting Strategies for Large Language
Models in Zero-Shot Clinical Natural Language Processing
- Title（参考訳）: ゼロショットクリニカル自然言語処理における大規模言語モデルのプロンプト戦略の実証評価
- Authors: Sonish Sivarajkumar, Mark Kelley, Alyssa Samolyk-Mazzanti, Shyam
Visweswaran, Yanshan Wang
- Abstract要約: 本研究は,5つのNLPタスクに対する即時エンジニアリングに関する包括的,系統的研究である。
近年の文献では, 単純な接頭辞, 単純なクローゼ, 思考の連鎖, 予測プロンプトなどが提案されている。
臨床NLPにおけるLCMの迅速なエンジニアリングのための新しい知見とガイドラインを提供する。
- 参考スコア（独自算出の注目度）: 4.758617742396169
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown remarkable capabilities in Natural
Language Processing (NLP), especially in domains where labeled data is scarce
or expensive, such as clinical domain. However, to unlock the clinical
knowledge hidden in these LLMs, we need to design effective prompts that can
guide them to perform specific clinical NLP tasks without any task-specific
training data. This is known as in-context learning, which is an art and
science that requires understanding the strengths and weaknesses of different
LLMs and prompt engineering approaches. In this paper, we present a
comprehensive and systematic experimental study on prompt engineering for five
clinical NLP tasks: Clinical Sense Disambiguation, Biomedical Evidence
Extraction, Coreference Resolution, Medication Status Extraction, and
Medication Attribute Extraction. We assessed the prompts proposed in recent
literature, including simple prefix, simple cloze, chain of thought, and
anticipatory prompts, and introduced two new types of prompts, namely heuristic
prompting and ensemble prompting. We evaluated the performance of these prompts
on three state-of-the-art LLMs: GPT-3.5, BARD, and LLAMA2. We also contrasted
zero-shot prompting with few-shot prompting, and provide novel insights and
guidelines for prompt engineering for LLMs in clinical NLP. To the best of our
knowledge, this is one of the first works on the empirical evaluation of
different prompt engineering approaches for clinical NLP in this era of
generative AI, and we hope that it will inspire and inform future research in
this area.
- Abstract（参考訳）: 大規模言語モデル (llm) は自然言語処理 (nlp) において、特に臨床領域のようなラベル付きデータが不足または高価である領域において顕著な能力を示している。
しかし、これらのLSMに隠された臨床知識を解き放つためには、特定のNLPタスクをタスク固有のトレーニングデータなしで実行するための効果的なプロンプトを設計する必要がある。
これはインコンテキスト学習(In-context learning)と呼ばれ、異なるLLMの強みと弱みを理解し、エンジニアリングアプローチを急ぐ必要がある。
本稿では,5つの臨床NLPタスク(臨床センスの曖昧さ,バイオメディカルエビデンス抽出,基準解決,メディケーション状態抽出,メディケーション属性抽出)の即時的エンジニアリングに関する総合的,体系的な実験を行った。
近年の文献では,単純な接頭辞,単純なクローゼ,思考の連鎖,予測的プロンプトなどのプロンプトを評価し,ヒューリスティックプロンプトとアンサンブルプロンプトという2つの新しいタイプのプロンプトを導入した。
GPT-3.5, BARD, LLAMA2の3種類のLLMにおけるこれらのプロンプトの性能評価を行った。
また,ゼロショットプロンプトとマイナショットプロンプトを比較し,臨床nlpにおけるllmプロンプトエンジニアリングのための新しい洞察とガイドラインを提供した。
我々の知る限り、これは、この生成AIの時代における臨床NLPの様々な迅速な工学的アプローチに関する実証的な評価の1つであり、この領域における将来の研究を刺激し、知らせることを願っている。
関連論文リスト
- Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。
本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
論文 参考訳（メタデータ） (2024-10-24T15:41:56Z) - Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。
まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。
次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。
ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
論文 参考訳（メタデータ） (2024-04-25T15:51:06Z) - Guiding Clinical Reasoning with Large Language Models via Knowledge Seeds [32.99251005719732]
臨床推論(英: Clinical reasoning)とは、医師が患者の評価と管理に用いている認知過程のことである。
本研究では,医学的知識によるLCMの強化を目的とした新しい枠組みであるICP(In-Context Padding)を提案する。
論文 参考訳（メタデータ） (2024-03-11T10:53:20Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳（メタデータ） (2024-02-05T08:25:22Z) - An Introduction to Natural Language Processing Techniques and Framework
for Clinical Implementation in Radiation Oncology [1.2714439146420664]
放射線オンコロジー研究において,大規模言語モデル(LLM)を用いた最先端NLPアプリケーションを提案する。
LLMは、厳格な評価と検証を必要とする幻覚、偏見、倫理的違反など、多くの誤りを起こしやすい。
本論は, 臨床放射線腫瘍学におけるNLPモデルの開発と利用に関心がある研究者や臨床医に対して, 指導と洞察を提供することを目的とする。
論文 参考訳（メタデータ） (2023-11-03T19:32:35Z) - Knowledge-Infused Prompting: Assessing and Advancing Clinical Text Data
Generation with Large Language Models [48.07083163501746]
臨床自然言語処理には、ドメイン固有の課題に対処できる方法が必要である。
我々は,そのプロセスに知識を注入する,革新的で資源効率のよいアプローチであるClinGenを提案する。
7つのNLPタスクと16のデータセットを比較検討した結果,ClinGenはさまざまなタスクのパフォーマンスを継続的に向上させることがわかった。
論文 参考訳（メタデータ） (2023-11-01T04:37:28Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳（メタデータ） (2023-05-30T22:05:11Z) - Are Large Language Models Ready for Healthcare? A Comparative Study on
Clinical Language Understanding [12.128991867050487]
大規模言語モデル(LLM)は、医療を含む様々な分野で大きな進歩を遂げている。
本研究では,臨床言語理解タスクの領域における最先端LCMの評価を行った。
論文 参考訳（メタデータ） (2023-04-09T16:31:47Z) - Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
本稿では,Re$3$Writer法を提案する。
本手法が患者の退院指示生成に有効であることを示す。
論文 参考訳（メタデータ） (2022-10-23T16:34:39Z) - HealthPrompt: A Zero-shot Learning Paradigm for Clinical Natural
Language Processing [3.762895631262445]
われわれはHealthPromptという新しいプロンプトベースのNLPフレームワークを開発した。
本研究は,6種類のPLMを用いたHealthPromptの詳細な分析を行った。
本実験は,臨床テキストのコンテキストを効果的に把握し,トレーニングデータなしで極めて良好に動作できることを証明した。
論文 参考訳（メタデータ） (2022-03-09T21:44:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。