論文の概要: Automated Clinical Data Extraction with Knowledge Conditioned LLMs

• arxiv url: http://arxiv.org/abs/2406.18027v1
• Date: Wed, 26 Jun 2024 02:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 14:57:54.645711
• Title: Automated Clinical Data Extraction with Knowledge Conditioned LLMs
• Title（参考訳）: 知識条件付きLLMを用いた臨床データの自動抽出
• Authors: Diya Li, Asim Kadav, Aijing Gao, Rui Li, Richard Bourgon,
• Abstract要約: 大規模言語モデル(LLM)は、レポート中の構造化されていないテキストの解釈に有効であるが、ドメイン固有の知識の欠如により幻覚することが多い。 In-context Learning (ICL) を通じて生成された内部知識を外部知識と整合させる新しい枠組みを提案する。 本フレームワークでは,検索した内部知識および外部知識の関連単位を抽出し,抽出した内部知識規則の真偽と有用性を評価する。
• 参考スコア（独自算出の注目度）: 7.935125803100394
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The extraction of lung lesion information from clinical and medical imaging reports is crucial for research on and clinical care of lung-related diseases. Large language models (LLMs) can be effective at interpreting unstructured text in reports, but they often hallucinate due to a lack of domain-specific knowledge, leading to reduced accuracy and posing challenges for use in clinical settings. To address this, we propose a novel framework that aligns generated internal knowledge with external knowledge through in-context learning (ICL). Our framework employs a retriever to identify relevant units of internal or external knowledge and a grader to evaluate the truthfulness and helpfulness of the retrieved internal-knowledge rules, to align and update the knowledge bases. Our knowledge-conditioned approach also improves the accuracy and reliability of LLM outputs by addressing the extraction task in two stages: (i) lung lesion finding detection and primary structured field parsing, followed by (ii) further parsing of lesion description text into additional structured fields. Experiments with expert-curated test datasets demonstrate that this ICL approach can increase the F1 score for key fields (lesion size, margin and solidity) by an average of 12.9% over existing ICL methods.
• Abstract（参考訳）: 臨床・医療画像からの肺病変情報の抽出は肺疾患の研究・治療に不可欠である。 大規模言語モデル(LLM)は、レポート中の非構造化テキストの解釈に有効であるが、ドメイン固有の知識の欠如により幻覚し、精度が低下し、臨床現場での使用が困難になる。 そこで本研究では,テキスト内学習(ICL)を通じて生成した内部知識を外部知識と整合させる新しい枠組みを提案する。 本フレームワークでは,内部知識及び外部知識の関連単位を抽出し,抽出した内部知識規則の真偽と有用性を評価し,知識基盤の整合と更新を行う。 我々の知識条件によるアプローチは、抽出タスクを2段階に分けてLLM出力の精度と信頼性を向上させる。 i)肺病変の検出と一次構造解析 (ii) 病変記述テキストのさらなる解析を付加的な構造体にすること。 専門家による試験データセットを用いた実験により、このICLアプローチは、キーフィールド(配列サイズ、マージン、ソリティー)のF1スコアを既存のICLメソッドよりも平均12.9%向上させることができることが示された。

関連論文リスト

• M-QALM: A Benchmark to Assess Clinical Reading Comprehension and Knowledge Recall in Large Language Models via Question Answering [14.198330378235632]
  我々は,3つのジェネラリストと3つの専門的なバイオメディカルサブドメインにおいて,22のデータセットに関する大規模な実験研究を行うために,複数選択と抽象質問応答を用いた。 15個のLLMの性能の多面的解析により、リコールや理解の向上につながる命令チューニングなどの成功要因が明らかになった。 最近提案されたドメイン適応モデルには十分な知識が欠如している可能性があるが、収集した医療知識データセットを直接微調整することは、奨励的な結果を示している。 我々は、必要な知識を単に思い出し、提示された知識と統合するモデルの能力の間に大きなギャップがあることを明らかにする、スキル指向手動エラー解析で定量的結果を補完する。
  論文  参考訳（メタデータ） (2024-06-06T02:43:21Z)
• Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [62.32403630651586]
  大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。 本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。 ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-01T21:59:03Z)
• Discovery of the Hidden World with Large Language Models [100.38157787218044]
  COAT: Causal representatiOn AssistanTについて紹介する。 COATは、非構造化データから潜在的な因果因子を抽出する因子プロジェクタとしてLLMを組み込んでいる。 LLMはデータ値の収集に使用される追加情報を提供するよう指示することもできる。
  論文  参考訳（メタデータ） (2024-02-06T12:18:54Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• Knowledge-Infused Prompting: Assessing and Advancing Clinical Text Data Generation with Large Language Models [48.07083163501746]
  臨床自然言語処理には、ドメイン固有の課題に対処できる方法が必要である。 我々は,そのプロセスに知識を注入する,革新的で資源効率のよいアプローチであるClinGenを提案する。 7つのNLPタスクと16のデータセットを比較検討した結果,ClinGenはさまざまなタスクのパフォーマンスを継続的に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-01T04:37:28Z)
• Adapted Large Language Models Can Outperform Medical Experts in Clinical Text Summarization [8.456700096020601]
  大規模言語モデル (LLM) は自然言語処理 (NLP) において有望であるが, 様々な臨床要約タスクにおける有効性は証明されていない。 本研究では,4つの臨床要約課題にまたがる8つのLCMに適応法を適用した。 10名の医師による臨床読影者を対象に, 要約, 完全性, 正当性, 簡潔性を評価した。ほとんどの場合, ベスト適応LSMの要約は, 医用専門家の要約と比べ, 同等(45%), 上等(36%)である。
  論文  参考訳（メタデータ） (2023-09-14T05:15:01Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Development and validation of a natural language processing algorithm to pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
  この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。 臨床文献のコーパスを12種類に分類した。 私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
  論文  参考訳（メタデータ） (2023-03-23T17:17:46Z)
• Knowledge-guided Text Structuring in Clinical Trials [0.38073142980733]
  本稿では,知識ベースを自動生成する知識誘導型テキスト構造化フレームワークを提案する。 実験結果から,本手法は全体の高精度化とリコールが可能であることが示唆された。
  論文  参考訳（メタデータ） (2019-12-28T01:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。