論文の概要: Assertion Detection Large Language Model In-context Learning LoRA Fine-tuning

• arxiv url: http://arxiv.org/abs/2401.17602v1
• Date: Wed, 31 Jan 2024 05:11:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 15:41:13.515570
• Title: Assertion Detection Large Language Model In-context Learning LoRA Fine-tuning
• Title（参考訳）: LRAファインチューニングによる大規模言語モデルの構築
• Authors: Yuelyu Ji, Zeshui Yu and Yanshan Wang
• Abstract要約: 本稿では,大規模言語モデル(LLM)を多数の医療データに基づいて事前学習してアサーション検出を行う手法を提案する。 提案手法は従来の手法よりも0.31高い0.74のF-1を達成した。
• 参考スコア（独自算出の注目度）: 2.401755243180179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, we aim to address the task of assertion detection when extracting medical concepts from clinical notes, a key process in clinical natural language processing (NLP). Assertion detection in clinical NLP usually involves identifying assertion types for medical concepts in the clinical text, namely certainty (whether the medical concept is positive, negated, possible, or hypothetical), temporality (whether the medical concept is for present or the past history), and experiencer (whether the medical concept is described for the patient or a family member). These assertion types are essential for healthcare professionals to quickly and clearly understand the context of medical conditions from unstructured clinical texts, directly influencing the quality and outcomes of patient care. Although widely used, traditional methods, particularly rule-based NLP systems and machine learning or deep learning models, demand intensive manual efforts to create patterns and tend to overlook less common assertion types, leading to an incomplete understanding of the context. To address this challenge, our research introduces a novel methodology that utilizes Large Language Models (LLMs) pre-trained on a vast array of medical data for assertion detection. We enhanced the current method with advanced reasoning techniques, including Tree of Thought (ToT), Chain of Thought (CoT), and Self-Consistency (SC), and refine it further with Low-Rank Adaptation (LoRA) fine-tuning. We first evaluated the model on the i2b2 2010 assertion dataset. Our method achieved a micro-averaged F-1 of 0.89, with 0.11 improvements over the previous works. To further assess the generalizability of our approach, we extended our evaluation to a local dataset that focused on sleep concept extraction. Our approach achieved an F-1 of 0.74, which is 0.31 higher than the previous method.
• Abstract（参考訳）: 本研究では,臨床自然言語処理(NLP)における重要なプロセスである臨床ノートから医療概念を抽出する際のアサーション検出の課題に対処することを目的とする。 臨床nlpにおけるアサーション検出は通常、臨床テキストにおける医学的概念のアサーションタイプ、すなわち確信(医学的概念が肯定的、否定的、可能、仮説的)、時間的(医学的概念が現在または過去の歴史のためである場合)、経験者(患者または家族に対して医学的概念が記述されている場合)を特定することを含む。 これらのアサーションタイプは、医療専門家にとって、非構造化臨床テキストから医療状況の文脈を迅速かつ明確に理解し、患者のケアの質と結果に直接影響を与えることが不可欠である。 伝統的な手法、特にルールベースのNLPシステムや機械学習やディープラーニングモデルでは広く使われているが、パターンを作成するために集中的な手作業が必要であり、一般的なアサーションのタイプを軽視する傾向があるため、文脈の完全な理解に繋がる。 この課題に対処するため,本研究では,多数の医療データに基づいて事前学習したLarge Language Models (LLMs) を用いたアサーション検出手法を提案する。 提案手法は,Tree of Thought (ToT), Chain of Thought (CoT), Self-Consistency (SC)などの先進的推論手法により拡張され,ローランド適応 (LoRA) ファインチューニングにより改良された。 最初にモデルをi2b2 2010アサーションデータセットで評価した。 マイクロ平均f-1は0.89で,前作に比べて0.11改善であった。 アプローチの一般化性をさらに評価するため,睡眠概念抽出に焦点を当てた局所的データセットに評価を拡張した。 提案手法は従来の手法よりも0.31高い0.74のF-1を達成する。

関連論文リスト

• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• Towards Efficient Patient Recruitment for Clinical Trials: Application of a Prompt-Based Learning Model [0.7373617024876725]
  臨床試験は医薬品の介入を促進するのに不可欠であるが、適格な参加者を選ぶ際にボトルネックに直面している。 構造化されていない医療用テキストの複雑な性質は、参加者を効率的に識別する上での課題である。 本研究では,コホート選択課題に対するプロンプトベース大規模言語モデルの性能評価を目的とした。
  論文  参考訳（メタデータ） (2024-04-24T20:42:28Z)
• Knowledge-injected Prompt Learning for Chinese Biomedical Entity Normalization [6.927883826415262]
  本稿では,バイオメディカルエンティティ正規化(BEN)課題に取り組むために,知識注入型プロンプト学習(PL-Knowledge)手法を提案する。 具体的には、候補エンティティマッチング、知識抽出、知識符号化、知識注入、予測出力の5段階からなる。 医療機関に含まれる知識項目を効果的に符号化することにより、追加の知識は、医療機関間の潜伏関係を捕捉するモデルの能力を高める。
  論文  参考訳（メタデータ） (2023-08-23T09:32:40Z)
• DR.BENCH: Diagnostic Reasoning Benchmark for Clinical Natural Language Processing [5.022185333260402]
  診断推論ベンチマーク(DR.BENCH)は臨床診断推論能力を持つcNLPモデルの開発と評価のための新しいベンチマークである。 DR.BENCHは、訓練済みの言語モデルを評価するための自然言語生成フレームワークとして設計された最初の臨床スイートである。
  論文  参考訳（メタデータ） (2022-09-29T16:05:53Z)
• Towards Structuring Real-World Data at Scale: Deep Learning for Extracting Key Oncology Information from Clinical Text with Patient-Level Supervision [10.929271646369887]
  実世界データ(RWD)の詳細な患者情報の大部分は、フリーテキストの臨床文書でのみ利用可能である。 従来のルールベースのシステムは、臨床テキストの言語的変異やあいまいさに弱い。 本稿では,患者レベルの管理を医療登録から活用することを提案する。
  論文  参考訳（メタデータ） (2022-03-20T03:42:03Z)
• Towards more patient friendly clinical notes through language models and ontologies [57.51898902864543]
  本稿では,単語の単純化と言語モデリングに基づく医療用テキストの自動作成手法を提案する。 我々は,公開医療文のデータセットペアと,臨床医による簡易化版を用いている。 本手法は,医学フォーラムデータに基づく言語モデルを用いて,文法と本来の意味の両方を保存しながら,より単純な文を生成する。
  論文  参考訳（メタデータ） (2021-12-23T16:11:19Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Semi-Supervised Variational Reasoning for Medical Dialogue Generation [70.838542865384]
  医療対話生成には,患者の状態と医師の行動の2つの重要な特徴がある。 医療対話生成のためのエンドツーエンドの変分推論手法を提案する。 行動分類器と2つの推論検出器から構成される医師政策ネットワークは、拡張推論能力のために提案される。
  論文  参考訳（メタデータ） (2021-05-13T04:14:35Z)
• Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
  臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。 退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。 複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
  論文  参考訳（メタデータ） (2021-02-08T10:26:44Z)
• AI Driven Knowledge Extraction from Clinical Practice Guidelines: Turning Research into Practice [2.803896166632835]
  臨床実践ガイドライン(CPGs)は、医療領域における最先端の研究成果を医療従事者と共有するための最前線の方法論です。 しかし、多くのCPGから関連する知識を抽出することは、すでに負担のかかる医療専門家には実現できません。 本研究は, CPGから知識を抽出し, ギャップを減らし, 最新の研究成果を臨床実践に転換する手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T07:23:02Z)
• Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation [48.87254340298189]
  我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。 我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-04T06:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。