論文の概要: Jointly Extracting Interventions, Outcomes, and Findings from RCT Reports with LLMs

• arxiv url: http://arxiv.org/abs/2305.03642v3
• Date: Tue, 18 Jul 2023 01:36:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 11:37:58.612770
• Title: Jointly Extracting Interventions, Outcomes, and Findings from RCT Reports with LLMs
• Title（参考訳）: LLMを用いたRCTレポートからの介入, 成果, 発見の同時抽出
• Authors: Somin Wadhwa and Jay DeYoung and Benjamin Nye and Silvio Amir and Byron C. Wallace
• Abstract要約: 本研究では,命令調整型大規模言語モデルに基づくテキスト・テキスト・モデルの提案と評価を行う。 我々は,2022年中頃に公開されたRCTのコレクションにモデルを適用し,構造化された結果の検索可能なデータベースをリリースする。
• 参考スコア（独自算出の注目度）: 21.868871974136884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Results from Randomized Controlled Trials (RCTs) establish the comparative effectiveness of interventions, and are in turn critical inputs for evidence-based care. However, results from RCTs are presented in (often unstructured) natural language articles describing the design, execution, and outcomes of trials; clinicians must manually extract findings pertaining to interventions and outcomes of interest from such articles. This onerous manual process has motivated work on (semi-)automating extraction of structured evidence from trial reports. In this work we propose and evaluate a text-to-text model built on instruction-tuned Large Language Models (LLMs) to jointly extract Interventions, Outcomes, and Comparators (ICO elements) from clinical abstracts, and infer the associated results reported. Manual (expert) and automated evaluations indicate that framing evidence extraction as a conditional generation task and fine-tuning LLMs for this purpose realizes considerable ($\sim$20 point absolute F1 score) gains over the previous SOTA. We perform ablations and error analyses to assess aspects that contribute to model performance, and to highlight potential directions for further improvements. We apply our model to a collection of published RCTs through mid-2022, and release a searchable database of structured findings: http://ico-relations.ebm-nlp.com
• Abstract（参考訳）: ランダム化対照試験(rcts)の結果は、介入の比較効果を確立し、証拠に基づくケアにおいて重要なインプットとなる。 しかし、rctsの結果は、試験の設計、実行、結果を記述する(しばしば非構造化)自然言語記事に提示され、臨床医は、そのような記事から興味のある介入や結果に関する知見を手作業で抽出しなければならない。 この面倒な手作業は、裁判報告から構造化された証拠の抽出(半自動抽出)を動機付けている。 本研究は, 臨床抽象概念から介入, 結果, 比較者(ico要素)を共同抽出し, 関連する結果を推測するために, 命令調整型大規模言語モデル(llms)に基づいて構築したテキスト対テキストモデルを提案し, 評価する。 手動(専門家)と自動評価は、フレーミングエビデンス抽出を条件生成タスクとし、この目的のための微調整LDMは、以前のSOTAよりも相当な(\sim$20point absolute F1 score)ゲインを実現することを示している。 我々は、モデル性能に寄与する側面を評価するためにアブレーションとエラー解析を行い、さらなる改善のための潜在的な方向性を強調する。 2022年中頃まで、我々のモデルを公開RCTのコレクションに適用し、構造化された結果の検索可能なデータベースをリリースする。

関連論文リスト

• Beyond Exact Match: Semantically Reassessing Event Extraction by Large Language Models [69.38024658668887]
  イベント抽出の現在の評価法はトークンレベルの正確な一致に依存している。 トークンレベルではなくセマンティックレベルでイベント抽出結果を正確に評価する自動評価フレームワークであるRAEEを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:54:01Z)
• Language Models and Retrieval Augmented Generation for Automated Structured Data Extraction from Diagnostic Reports [2.932283627137903]
  この研究は、2つのデータセットを利用していた:7,294の放射線診断報告は、BT-RADS(Brain tumor Reporting and Data System)スコアに注釈付けされ、2,154の病理診断報告は、isocitrate dehydrogenase(IDH)変異のステータスに注釈付けされた。
  論文  参考訳（メタデータ） (2024-09-15T15:21:45Z)
• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• Automatically Extracting Numerical Results from Randomized Controlled Trials with Large Language Models [19.72316842477808]
  我々は,現代の大規模言語モデル (LLM) がこのタスクを確実に実行できるかを評価する。 長い入力を許容できる大規模なLSMは、完全に自動メタ分析を実現するために、微妙に近い。
  論文  参考訳（メタデータ） (2024-05-02T19:20:11Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• Automated tabulation of clinical trial results: A joint entity and relation extraction approach with transformer-based language representations [5.825190876052148]
  本稿では,2つの言語処理タスク間で問題を分解し,エビデンス表の自動生成について検討する。 本稿では,実践成果を報告するRCT要約文の自動集計に着目する。 これらのモデルを訓練し、試験するために、6つの疾患領域から600近い結果文を含む新しいゴールドスタンダードコーパスが開発された。
  論文  参考訳（メタデータ） (2021-12-10T15:26:43Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Eider: Evidence-enhanced Document-level Relation Extraction [56.71004595444816]
  文書レベルの関係抽出(DocRE)は、文書内のエンティティペア間の意味関係を抽出することを目的としている。 本稿では,共同関係と証拠抽出,エビデンス中心関係抽出(RE),抽出結果の融合からなる3段階のエビデンス強化DocREフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-16T09:43:16Z)
• Cross-Supervised Joint-Event-Extraction with Heterogeneous Information Networks [61.950353376870154]
  Joint-event- Extractは、トリガとエンティティのタグからなるタグセットを備えたシーケンスからシーケンスまでのラベリングタスクである。 トリガやエンティティの抽出を交互に監督するクロススーパーバイザードメカニズム(CSM)を提案する。 我々の手法は、エンティティとトリガー抽出の両方において最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-10-13T11:51:17Z)
• Predicting Clinical Trial Results by Implicit Evidence Integration [40.80948875051806]
  新規な臨床試験結果予測(CTRP)タスクを導入する。 CTRPフレームワークでは、モデルがPICO形式の臨床試験の提案を受け、その背景を入力として、その結果を予測する。 PICOを暗黙的に含む医学文献から大規模非構造化文を引用し,その結果を証拠とした。
  論文  参考訳（メタデータ） (2020-10-12T12:25:41Z)
• Understanding Clinical Trial Reports: Extracting Medical Entities and Their Relations [33.30381080306156]
  医療専門家は、意思決定を知らせるために、手動で記事から情報を取り出す必要がある。 本研究は, (a) 臨床試験を記載した全文記事から治療結果と成果を抽出し, (b) 後者に関して, 前者に対して報告された結果の推測を行うことの両目的について考察する。
  論文  参考訳（メタデータ） (2020-10-07T17:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。