論文の概要: Automated Paper Screening for Clinical Reviews Using Large Language
Models
- arxiv url: http://arxiv.org/abs/2305.00844v1
- Date: Mon, 1 May 2023 14:16:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 13:02:51.822532
- Title: Automated Paper Screening for Clinical Reviews Using Large Language
Models
- Title（参考訳）: 大規模言語モデルを用いた臨床評価用紙自動スクリーニング
- Authors: Eddie Guo, Mehul Gupta, Jiawen Deng, Ye-Jean Park, Mike Paget,
Christopher Naugler
- Abstract要約: 臨床レビューにおけるタイトルや要約のスクリーニングにOpenAI GPT APIを用いた新しいワークフローを導入する。
Pythonスクリプトは、自然言語のスクリーニング基準でGPT APIを呼び出すために作成された。
我々は,本モデルの性能を6つのレビュー論文で比較し,24,000以上のタイトルと要約をスクリーニングした。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Objective: To assess the performance of the OpenAI GPT API in accurately and
efficiently identifying relevant titles and abstracts from real-world clinical
review datasets and compare its performance against ground truth labelling by
two independent human reviewers.
Methods: We introduce a novel workflow using the OpenAI GPT API for screening
titles and abstracts in clinical reviews. A Python script was created to make
calls to the GPT API with the screening criteria in natural language and a
corpus of title and abstract datasets that have been filtered by a minimum of
two human reviewers. We compared the performance of our model against
human-reviewed papers across six review papers, screening over 24,000 titles
and abstracts.
Results: Our results show an accuracy of 0.91, a sensitivity of excluded
papers of 0.91, and a sensitivity of included papers of 0.76. On a randomly
selected subset of papers, the GPT API demonstrated the ability to provide
reasoning for its decisions and corrected its initial decision upon being asked
to explain its reasoning for a subset of incorrect classifications.
Conclusion: The GPT API has the potential to streamline the clinical review
process, save valuable time and effort for researchers, and contribute to the
overall quality of clinical reviews. By prioritizing the workflow and acting as
an aid rather than a replacement for researchers and reviewers, the GPT API can
enhance efficiency and lead to more accurate and reliable conclusions in
medical research.
- Abstract（参考訳）: 目的:OpenAI GPT APIの性能を,実際の臨床レビューデータセットから関連タイトルや要約を正確かつ効率的に同定し,その性能を2人の独立した人間レビュアーによる真理ラベルと比較する。
方法: 臨床レビューにおけるタイトルや要約のスクリーニングに OpenAI GPT API を用いた新しいワークフローを導入する。
Pythonスクリプトは、自然言語のスクリーニング基準と、最低2人の人間レビュアーによってフィルタリングされたタイトルと抽象データセットのコーパスを備えたGPT APIを呼び出すために作成された。
本モデルの性能を6つのレビュー論文で比較し,24,000以上のタイトルと要約をスクリーニングした。
結果: 結果は0.91の精度, 除外紙の感度0.91の感度, 含紙の感度0.76の感度を示した。
ランダムに選択された論文のサブセットで、gpt apiはその決定に対して推論を提供する能力を示し、不正確な分類のサブセットの推論を説明するように求められた最初の判断を訂正した。
結論: GPT APIは、臨床レビュープロセスを合理化し、研究者にとって貴重な時間と労力を節約し、臨床レビューの全体的な品質に貢献する可能性がある。
GPT APIは、ワークフローを優先順位付けし、研究者やレビュアーの代替ではなく支援として機能することにより、効率を高め、医学研究においてより正確で信頼性の高い結論をもたらすことができる。
関連論文リスト
- Towards Efficient Patient Recruitment for Clinical Trials: Application of a Prompt-Based Learning Model [0.7373617024876725]
臨床試験は医薬品の介入を促進するのに不可欠であるが、適格な参加者を選ぶ際にボトルネックに直面している。
構造化されていない医療用テキストの複雑な性質は、参加者を効率的に識別する上での課題である。
本研究では,コホート選択課題に対するプロンプトベース大規模言語モデルの性能評価を目的とした。
論文 参考訳（メタデータ） (2024-04-24T20:42:28Z) - Attribute Structuring Improves LLM-Based Evaluation of Clinical Text
Summaries [62.32403630651586]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳（メタデータ） (2024-03-01T21:59:03Z) - Leveraging deep active learning to identify low-resource mobility
functioning information in public clinical notes [0.157286095422595]
国際機能・障害・健康分類(ICF)のモビリティ領域に関する最初の公開アノテートデータセット
我々はNational NLP Clinical Challenges (n2c2) 研究データセットを用いてキーワード拡張を用いた候補文のプールを構築する。
最終的なデータセットは,5,511のアクションエンティティ,5,328のモビリティエンティティ,306のアシストエンティティ,639の量子化エンティティを含む,合計11,784のエンティティからなる4,265の文で構成されています。
論文 参考訳（メタデータ） (2023-11-27T15:53:11Z) - Zero-shot Learning with Minimum Instruction to Extract Social
Determinants and Family History from Clinical Notes using GPT Model [4.72294159722118]
本研究は, ゼロショット学習による情報抽出に焦点をあてる。
我々は、人口統計学、様々な社会的決定要因、家族史情報に注釈を付けた非特定実世界の臨床ノートを利用する。
以上の結果から, GPT-3.5法は, 集団抽出では平均0.975 F1, 社会要因抽出では0.615 F1, 家族歴抽出では0.722 F1を達成できた。
論文 参考訳（メタデータ） (2023-09-11T14:16:27Z) - Detecting automatically the layout of clinical documents to enhance the
performances of downstream natural language processing [53.797797404164946]
我々は,臨床用PDF文書を処理し,臨床用テキストのみを抽出するアルゴリズムを設計した。
このアルゴリズムは、PDFを使った最初のテキスト抽出と、続いてボディテキスト、左書き、フッタなどのカテゴリに分類される。
それぞれのセクションのテキストから興味ある医学的概念を抽出し,医療的パフォーマンスを評価した。
論文 参考訳（メタデータ） (2023-05-23T08:38:33Z) - Development and validation of a natural language processing algorithm to
pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。
臨床文献のコーパスを12種類に分類した。
私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
論文 参考訳（メタデータ） (2023-03-23T17:17:46Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - Validating GAN-BioBERT: A Methodology For Assessing Reporting Trends In
Clinical Trials [3.164363223464948]
本研究では,半教師付き自然言語プロセスモデルを用いた臨床試験要約のための感情分類アルゴリズムを開発した。
このアルゴリズムの精度は91.3%であり、マクロF1スコアは0.92であり、従来の手法に比べて精度が大幅に向上した。
論文 参考訳（メタデータ） (2021-06-01T17:51:54Z) - Text Mining to Identify and Extract Novel Disease Treatments From
Unstructured Datasets [56.38623317907416]
Google Cloudを使って、NPRラジオ番組のポッドキャストのエピソードを書き起こします。
次に、テキストを体系的に前処理するためのパイプラインを構築します。
我々のモデルは、Omeprazoleが心臓熱傷の治療に役立てることに成功しました。
論文 参考訳（メタデータ） (2020-10-22T19:52:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。