論文の概要: AlpaPICO: Extraction of PICO Frames from Clinical Trial Documents Using LLMs
- arxiv url: http://arxiv.org/abs/2409.09704v1
- Date: Sun, 15 Sep 2024 11:53:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 19:38:21.001957
- Title: AlpaPICO: Extraction of PICO Frames from Clinical Trial Documents Using LLMs
- Title（参考訳）: AlpaPICO: LLMを用いた臨床試験文書からのPICOフレームの抽出
- Authors: Madhusudan Ghosh, Shrimon Mukherjee, Asmit Ganguly, Partha Basuchowdhuri, Sudip Kumar Naskar, Debasis Ganguly,
- Abstract要約: 近年,臨床治験報告の発行が急増しており,体系的レビューの実施が困難になっている。
臨床試験から人口、介入、比較、アウトカム(PICO)を自動的に抽出することは、体系的レビューを手作業で精査する伝統的な時間的プロセスを軽減することができる。
本研究では, LLMの事前学習期間中に収集されたLarge Language Models (LLMs) の事前学習知識を用いてICL戦略を採用し, PICO関連用語を自動的に抽出する。
- 参考スコア（独自算出の注目度）: 8.100885311316118
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, there has been a surge in the publication of clinical trial reports, making it challenging to conduct systematic reviews. Automatically extracting Population, Intervention, Comparator, and Outcome (PICO) from clinical trial studies can alleviate the traditionally time-consuming process of manually scrutinizing systematic reviews. Existing approaches of PICO frame extraction involves supervised approach that relies on the existence of manually annotated data points in the form of BIO label tagging. Recent approaches, such as In-Context Learning (ICL), which has been shown to be effective for a number of downstream NLP tasks, require the use of labeled examples. In this work, we adopt ICL strategy by employing the pretrained knowledge of Large Language Models (LLMs), gathered during the pretraining phase of an LLM, to automatically extract the PICO-related terminologies from clinical trial documents in unsupervised set up to bypass the availability of large number of annotated data instances. Additionally, to showcase the highest effectiveness of LLM in oracle scenario where large number of annotated samples are available, we adopt the instruction tuning strategy by employing Low Rank Adaptation (LORA) to conduct the training of gigantic model in low resource environment for the PICO frame extraction task. Our empirical results show that our proposed ICL-based framework produces comparable results on all the version of EBM-NLP datasets and the proposed instruction tuned version of our framework produces state-of-the-art results on all the different EBM-NLP datasets. Our project is available at \url{https://github.com/shrimonmuke0202/AlpaPICO.git}.
- Abstract（参考訳）: 近年,臨床治験報告の発行が急増しており,体系的レビューの実施が困難になっている。
臨床試験から人口、介入、比較、アウトカム(PICO)を自動的に抽出することは、体系的レビューを手作業で精査する伝統的な時間的プロセスを軽減することができる。
PICOフレーム抽出の既存のアプローチは、BIOラベルタグ付けの形で手動で注釈付きデータポイントの存在に依存する教師ありアプローチである。
In-Context Learning (ICL)のような近年のアプローチは、多くの下流のNLPタスクに有効であることが示されているが、ラベル付き例を使用する必要がある。
本研究では,LLMの事前学習期間中に収集されたLarge Language Models (LLMs) の事前学習知識を活用してICL戦略を採用し,多数の注釈付きデータインスタンスの入手を回避すべく,無監督で設定された臨床試験文書からPICO関連用語を自動的に抽出する。
さらに,多数のアノテートサンプルが利用可能であるオラクルシナリオにおけるLLMの有効性を示すため,PICOフレーム抽出タスクにおいて,低リソース環境における巨大モデルのトレーニングを行うために,LORA(Low Rank Adaptation)を用いて命令チューニング戦略を採用する。
実験の結果,提案するICLベースのフレームワークは,ESM-NLPデータセットのすべてのバージョンで同等の結果が得られ,本フレームワークの命令チューニングバージョンでは,すべてのESM-NLPデータセットに対して最先端の結果が得られた。
私たちのプロジェクトは \url{https://github.com/shrimonmuke0202/AlpaPICO.git} で利用可能です。
関連論文リスト
- Classifying Cancer Stage with Open-Source Clinical Large Language Models [0.35998666903987897]
オープンソースの臨床大言語モデル(LLMs)は、実世界の病理報告から病理組織学的腫瘍-リンパ節転移(pTNM)のステージング情報を抽出することができる。
以上より, LLMは腫瘍 (T) 分類においてサブパーパフォーマンスを示すが, プロンプト戦略の適切な適用により, 転移 (M) では同等の性能を示し, Node (N) 分類では性能が向上することが示唆された。
論文 参考訳（メタデータ） (2024-04-02T02:30:47Z) - LESEN: Label-Efficient deep learning for Multi-parametric MRI-based
Visual Pathway Segmentation [5.726588626363204]
ラベル効率のよい自己認識型深層学習法(LESEN)を提案する。
LESENは教師なしと教師なしの損失を取り入れ、生徒と教師のモデルが相互に学習できるようにする。
ヒトコネクトームプロジェクト(HCP)のデータセットを用いた実験により,本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2024-01-03T10:22:13Z) - Take One Step at a Time to Know Incremental Utility of Demonstration: An Analysis on Reranking for Few-Shot In-Context Learning [23.932500424117244]
In-Context Learning (ICL)は大規模言語モデル(LLM)の創発的能力である
従来の研究では、ラベルとしてLLMの出力を使用することが、デモを選択するためのトレーニングモデルに有効であることが示されている。
本稿では,LLMの出力確率に着目して,異なるユーティリティ関数の解析を行う。
論文 参考訳（メタデータ） (2023-11-16T07:03:54Z) - LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。
我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。
LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
論文 参考訳（メタデータ） (2023-10-30T14:54:15Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳（メタデータ） (2023-03-09T06:24:50Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-12-20T19:29:37Z) - Pareto Optimization for Active Learning under Out-of-Distribution Data
Scenarios [79.02009938011447]
本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。
実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
論文 参考訳（メタデータ） (2022-07-04T04:11:44Z) - HealthPrompt: A Zero-shot Learning Paradigm for Clinical Natural
Language Processing [3.762895631262445]
われわれはHealthPromptという新しいプロンプトベースのNLPフレームワークを開発した。
本研究は,6種類のPLMを用いたHealthPromptの詳細な分析を行った。
本実験は,臨床テキストのコンテキストを効果的に把握し,トレーニングデータなしで極めて良好に動作できることを証明した。
論文 参考訳（メタデータ） (2022-03-09T21:44:28Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳（メタデータ） (2021-08-12T09:14:44Z) - Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning [54.85397562961903]
ラベル付きデータに制限がある場合に、ラベルなしデータを利用して強力なモデルをトレーニングする半教師付き学習(SSL)が提案されている。
我々は、Open-set SSLと呼ばれるより複雑な新しいシナリオに対処する。
提案手法は,OOD試料の効果を除去し,最先端の結果を得る。
論文 参考訳（メタデータ） (2020-07-22T10:33:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。