論文の概要: SIFTING: A Novel LLM-Based Framework for Structured and Transparent Information Extraction from Clinical Free-Text Reports, with Application to Tumor Staging in Lung Cancer
- arxiv url: http://arxiv.org/abs/2609.07185v1
- Date: Mon, 07 Sep 2026 08:15:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 01:16:24.435848
- Title: SIFTING: A Novel LLM-Based Framework for Structured and Transparent Information Extraction from Clinical Free-Text Reports, with Application to Tumor Staging in Lung Cancer
- Title(参考訳): SIFTING: 肺癌における臨床自由テキストレポートからの構造的・透過的情報抽出のための新しいLLMベースのフレームワーク
- Abstract要約: 大きな言語モデル(LLM)は、臨床自由テキスト文書から情報を抽出する約束を示す。
これらの欠点に対処するLLMベースのフレームワークであるSIFTINGを紹介する。
- 参考スコア(独自算出の注目度): 0.18737506366172096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Background: Large language models (LLMs) show promise for extracting information from clinical free-text documents, but their outputs are often unstructured and lack traceability, complicating validation and adoption in clinical workflows. In this work we introduce SIFTING, an LLM-based framework designed to address these shortcomings. Methods: SIFTING combines the language comprehension capabilities of LLMs with segment-level processing and structured prompts with strict output control, linking findings to the source text to enable both accurate and transparent information extraction. To demonstrate its capabilities, we applied the framework to the task of extracting tumor T-stage information from 130 lung cancer radiology reports (SIFTING-T-stage). A compact 4-bit quantized version of the open-source LLM Llama-3.3-70B (35 GB) was used in a fully self-hosted setup, providing full control over data and model. Performance was evaluated against a reference standard created by four clinical experts and compared with a range of LLMs as used in a conventional single-prompt approach, using bootstrap resampling to estimate confidence intervals. Results: SIFTING-T-stage achieved an accuracy of 90% (95% CI: 84-95) against the reference standard. We found its performance to be comparable to even the largest state-of-the-art LLMs with reasoning capabilities and to be interchangeable with clinical experts (p < 0.001), while at the same time offering full traceability through source text references. Conclusion: SIFTING enables accurate, structured, and traceable information extraction from clinical free-text documents. It ensures data control, reproducibility, and verifiable outputs that can support clinical validation and workflow integration.
- Abstract(参考訳): 背景: 大規模言語モデル(LLM)は、臨床自由テキスト文書から情報を抽出する約束を示すが、アウトプットはしばしば構造化されておらず、トレーサビリティが欠如しており、臨床ワークフローにおける検証と採用が複雑である。
本稿では,これらの欠点に対処するLLMベースのフレームワークであるSIFTINGを紹介する。
方法: SIFTINGはLLMの言語理解能力をセグメントレベルの処理と構造化プロンプトと厳密な出力制御と組み合わせ、結果をソーステキストにリンクして正確かつ透明な情報抽出を可能にする。
肺がん検診130例(SIFTING-T-stage)から腫瘍Tステージ情報を抽出する作業に,本フレームワークを適用した。
オープンソースのLLM Llama-3.3-70B(35GB)の4ビット量子化バージョンは、完全に自己ホストされたセットアップで使用され、データとモデルを完全に制御した。
4名の臨床専門家が作成した基準基準と比較し, ブートストラップ・リサンプリングを用いて信頼性区間を推定し, 従来の単一プロンプト法と比較した。
結果: SIFTING-Tステージでは基準基準に対して90%(95%CI:84-95)の精度が得られた。
その性能は、推論能力を持つ最先端のLCMに匹敵するものであり、臨床専門家(p < 0.001)と交換可能であると同時に、ソーステキスト参照による完全なトレーサビリティを提供する。
結論: SIFTINGは、臨床自由テキスト文書から正確な、構造化された、追跡可能な情報を抽出することができる。
データ制御、再現性、検証可能なアウトプットを確保し、臨床検証とワークフローの統合をサポートする。
関連論文リスト
- Language Models as Interfaces, Not Oracles: A Hybrid LLM-ML System for Pediatric Appendicitis [1.0312968200748116]
ClaMPAPP(Clinical Language-assisted Machine-learning Pipeline for Appendicitis)は、LLMを最終的な意思決定者ではなくインターフェースとして使用するハイブリッドシステムである。
ドイツの病院から分離した2つの小児虫垂炎コホートに対する ClaMPAPP の評価を行った。
論文 参考訳(メタデータ) (2026-06-17T15:22:51Z) - A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。
ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。
本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-29T18:48:21Z) - Harnessing Large Language Models for Precision Querying and Retrieval-Augmented Knowledge Extraction in Clinical Data Science [3.4325249294405555]
本研究では,2つの基礎的電子健康記録(EHR)データサイエンスタスクに対して,Large Language Models (LLMs)を適用した。
我々は、LLMが分析のための大規模な構造化データセットと正確に相互作用する能力をテストする。
本稿では,各データセットやタスクの特徴に合わせて,合成質問と解答ペアを自動生成するフレキシブルな評価フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-28T14:57:36Z) - Leveraging Open-Source Large Language Models for Clinical Information Extraction in Resource-Constrained Settings [3.799555574114989]
医療報告には豊富な臨床情報が含まれているが、しばしば非構造化され、ドメイン固有の言語で書かれる。
本研究は、オランダにおける28の臨床情報抽出タスクを含むDRAGONベンチマークにおいて、9つのオープンソースジェネレーティブLCMを評価した。
我々は,オープンソースのジェネレーティブLLMを用いた情報抽出フレームワークであるtextttllm_extractinator を開発した。
論文 参考訳(メタデータ) (2025-07-28T14:12:37Z) - Leveraging large language models for structured information extraction from pathology reports [0.0]
乳がん病理組織学的報告から構造情報を抽出する際の大規模言語モデルの精度を評価する。
構造化情報抽出のためのオープンソースツールは、自然言語を使って非プログラマがカスタマイズできる。
論文 参考訳(メタデータ) (2025-02-14T21:46:02Z) - Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。
私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。
実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
論文 参考訳(メタデータ) (2024-11-01T20:44:59Z) - Development and Validation of a Large Language Model for Generating Fully-Structured Radiology Reports [7.842592769802466]
完全に構造化されたレポートを作成するための現在のLLMは、外部サーバにデータをアップロードする際のエラー、コンテンツ幻覚、プライバシー漏洩といった問題に直面している。
我々は,各機関の様々な自由テキストレポートから完全に構造化され,標準化されたLCSレポートを作成するための,オープンソースで正確なLCMを開発することを目的としている。
論文 参考訳(メタデータ) (2024-09-26T21:59:11Z) - Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [56.31117605097345]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳(メタデータ) (2024-03-01T21:59:03Z) - Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。
LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。
LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文 参考訳(メタデータ) (2023-10-15T12:40:30Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。