論文の概要: An Empirical Evaluation of Prompting Strategies for Large Language
Models in Zero-Shot Clinical Natural Language Processing
- arxiv url: http://arxiv.org/abs/2309.08008v1
- Date: Thu, 14 Sep 2023 19:35:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 16:56:48.203793
- Title: An Empirical Evaluation of Prompting Strategies for Large Language
Models in Zero-Shot Clinical Natural Language Processing
- Title(参考訳): ゼロショットクリニカル自然言語処理における大規模言語モデルのプロンプト戦略の実証評価
- Authors: Sonish Sivarajkumar, Mark Kelley, Alyssa Samolyk-Mazzanti, Shyam
Visweswaran, Yanshan Wang
- Abstract要約: 本研究は,5つのNLPタスクに対する即時エンジニアリングに関する包括的,系統的研究である。
近年の文献では, 単純な接頭辞, 単純なクローゼ, 思考の連鎖, 予測プロンプトなどが提案されている。
臨床NLPにおけるLCMの迅速なエンジニアリングのための新しい知見とガイドラインを提供する。
- 参考スコア(独自算出の注目度): 4.758617742396169
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown remarkable capabilities in Natural
Language Processing (NLP), especially in domains where labeled data is scarce
or expensive, such as clinical domain. However, to unlock the clinical
knowledge hidden in these LLMs, we need to design effective prompts that can
guide them to perform specific clinical NLP tasks without any task-specific
training data. This is known as in-context learning, which is an art and
science that requires understanding the strengths and weaknesses of different
LLMs and prompt engineering approaches. In this paper, we present a
comprehensive and systematic experimental study on prompt engineering for five
clinical NLP tasks: Clinical Sense Disambiguation, Biomedical Evidence
Extraction, Coreference Resolution, Medication Status Extraction, and
Medication Attribute Extraction. We assessed the prompts proposed in recent
literature, including simple prefix, simple cloze, chain of thought, and
anticipatory prompts, and introduced two new types of prompts, namely heuristic
prompting and ensemble prompting. We evaluated the performance of these prompts
on three state-of-the-art LLMs: GPT-3.5, BARD, and LLAMA2. We also contrasted
zero-shot prompting with few-shot prompting, and provide novel insights and
guidelines for prompt engineering for LLMs in clinical NLP. To the best of our
knowledge, this is one of the first works on the empirical evaluation of
different prompt engineering approaches for clinical NLP in this era of
generative AI, and we hope that it will inspire and inform future research in
this area.
- Abstract(参考訳): 大規模言語モデル (llm) は自然言語処理 (nlp) において、特に臨床領域のようなラベル付きデータが不足または高価である領域において顕著な能力を示している。
しかし、これらのLSMに隠された臨床知識を解き放つためには、特定のNLPタスクをタスク固有のトレーニングデータなしで実行するための効果的なプロンプトを設計する必要がある。
これはインコンテキスト学習(In-context learning)と呼ばれ、異なるLLMの強みと弱みを理解し、エンジニアリングアプローチを急ぐ必要がある。
本稿では,5つの臨床NLPタスク(臨床センスの曖昧さ,バイオメディカルエビデンス抽出,基準解決,メディケーション状態抽出,メディケーション属性抽出)の即時的エンジニアリングに関する総合的,体系的な実験を行った。
近年の文献では,単純な接頭辞,単純なクローゼ,思考の連鎖,予測的プロンプトなどのプロンプトを評価し,ヒューリスティックプロンプトとアンサンブルプロンプトという2つの新しいタイプのプロンプトを導入した。
GPT-3.5, BARD, LLAMA2の3種類のLLMにおけるこれらのプロンプトの性能評価を行った。
また,ゼロショットプロンプトとマイナショットプロンプトを比較し,臨床nlpにおけるllmプロンプトエンジニアリングのための新しい洞察とガイドラインを提供した。
我々の知る限り、これは、この生成AIの時代における臨床NLPの様々な迅速な工学的アプローチに関する実証的な評価の1つであり、この領域における将来の研究を刺激し、知らせることを願っている。
関連論文リスト
- Guiding Clinical Reasoning with Large Language Models via Knowledge
Seeds [37.080274964170094]
臨床推論(英: Clinical reasoning)とは、医師が患者の評価と管理に用いている認知過程のことである。
本研究では,医学的知識によるLCMの強化を目的とした新しい枠組みであるICP(In-Context Padding)を提案する。
論文 参考訳(メタデータ) (2024-03-11T10:53:20Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - An Introduction to Natural Language Processing Techniques and Framework
for Clinical Implementation in Radiation Oncology [1.2714439146420664]
放射線オンコロジー研究において,大規模言語モデル(LLM)を用いた最先端NLPアプリケーションを提案する。
LLMは、厳格な評価と検証を必要とする幻覚、偏見、倫理的違反など、多くの誤りを起こしやすい。
本論は, 臨床放射線腫瘍学におけるNLPモデルの開発と利用に関心がある研究者や臨床医に対して, 指導と洞察を提供することを目的とする。
論文 参考訳(メタデータ) (2023-11-03T19:32:35Z) - Knowledge-Infused Prompting: Assessing and Advancing Clinical Text Data
Generation with Large Language Models [48.07083163501746]
臨床自然言語処理には、ドメイン固有の課題に対処できる方法が必要である。
我々は,そのプロセスに知識を注入する,革新的で資源効率のよいアプローチであるClinGenを提案する。
7つのNLPタスクと16のデータセットを比較検討した結果,ClinGenはさまざまなタスクのパフォーマンスを継続的に向上させることがわかった。
論文 参考訳(メタデータ) (2023-11-01T04:37:28Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Prompt Engineering for Healthcare: Methodologies and Applications [51.965733825188416]
医療分野の自然言語処理(NLP)分野における最近の技術進歩を紹介する。
まず,素早い工学開発の概要について概説する。
第2に、質問応答システム、テキスト要約、機械翻訳などの医療NLPアプリケーションへの重要な貢献を強調します。
論文 参考訳(メタデータ) (2023-04-28T08:03:42Z) - Are Large Language Models Ready for Healthcare? A Comparative Study on
Clinical Language Understanding [12.128991867050487]
大規模言語モデル(LLM)は、医療を含む様々な分野で大きな進歩を遂げている。
本研究では,臨床言語理解タスクの領域における最先端LCMの評価を行った。
論文 参考訳(メタデータ) (2023-04-09T16:31:47Z) - HealthPrompt: A Zero-shot Learning Paradigm for Clinical Natural
Language Processing [3.762895631262445]
われわれはHealthPromptという新しいプロンプトベースのNLPフレームワークを開発した。
本研究は,6種類のPLMを用いたHealthPromptの詳細な分析を行った。
本実験は,臨床テキストのコンテキストを効果的に把握し,トレーニングデータなしで極めて良好に動作できることを証明した。
論文 参考訳(メタデータ) (2022-03-09T21:44:28Z) - VBridge: Connecting the Dots Between Features, Explanations, and Data
for Healthcare Models [85.4333256782337]
VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。
我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。
症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
論文 参考訳(メタデータ) (2021-08-04T17:34:13Z) - Benchmarking Automated Clinical Language Simplification: Dataset,
Algorithm, and Evaluation [48.87254340298189]
我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。
我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-12-04T06:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。