論文の概要: Can Reasoning LLMs Enhance Clinical Document Classification?

• arxiv url: http://arxiv.org/abs/2504.08040v1
• Date: Thu, 10 Apr 2025 18:00:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-22 00:46:06.990704
• Title: Can Reasoning LLMs Enhance Clinical Document Classification?
• Title（参考訳）: LLMは臨床文書分類に有効か?
• Authors: Akram Mustafa, Usman Naseem, Mostafa Rahimi Azghadi,
• Abstract要約: 大規模言語モデル(LLM)は、このタスクの正確性と効率性において有望な改善を提供する。 本研究では,8つのLDMの性能と一貫性を評価する。4つの推論(Qwen QWQ, Deepseek Reasoner, GPT o3 Mini, Gemini 2.0 Flash Thinking)と4つの非推論(Llama 3.3, GPT 4o Mini, Gemini 2.0 Flash, Deepseek Chat)。 その結果、推論モデルは精度71%(68%)とF1スコア(67%(60%))で非推論モデルを上回った。
• 参考スコア（独自算出の注目度）: 7.026393789313748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clinical document classification is essential for converting unstructured medical texts into standardised ICD-10 diagnoses, yet it faces challenges due to complex medical language, privacy constraints, and limited annotated datasets. Large Language Models (LLMs) offer promising improvements in accuracy and efficiency for this task. This study evaluates the performance and consistency of eight LLMs; four reasoning (Qwen QWQ, Deepseek Reasoner, GPT o3 Mini, Gemini 2.0 Flash Thinking) and four non-reasoning (Llama 3.3, GPT 4o Mini, Gemini 2.0 Flash, Deepseek Chat); in classifying clinical discharge summaries using the MIMIC-IV dataset. Using cTAKES to structure clinical narratives, models were assessed across three experimental runs, with majority voting determining final predictions. Results showed that reasoning models outperformed non-reasoning models in accuracy (71% vs 68%) and F1 score (67% vs 60%), with Gemini 2.0 Flash Thinking achieving the highest accuracy (75%) and F1 score (76%). However, non-reasoning models demonstrated greater stability (91% vs 84% consistency). Performance varied across ICD-10 codes, with reasoning models excelling in complex cases but struggling with abstract categories. Findings indicate a trade-off between accuracy and consistency, suggesting that a hybrid approach could optimise clinical coding. Future research should explore multi-label classification, domain-specific fine-tuning, and ensemble methods to enhance model reliability in real-world applications.
• Abstract（参考訳）: 臨床文書分類は、構造化されていない医学テキストを標準化されたICD-10診断に変換するのに不可欠であるが、複雑な医学的言語、プライバシーの制約、限られた注釈付きデータセットによる問題に直面している。 大規模言語モデル(LLM)は、このタスクの正確性と効率性において有望な改善を提供する。 本研究は,8つのLCMの性能と一貫性を評価する。4つの推論(Qwen QWQ, Deepseek Reasoner, GPT o3 Mini, Gemini 2.0 Flash Thinking)と4つの非推論(Llama 3.3, GPT 4o Mini, Gemini 2.0 Flash, Deepseek Chat)をMIMIC-IVデータセットを用いて分類する。 cTAKESを用いて臨床物語を構造化し、モデルが3回の試験で評価され、多数決で最終予測が決定された。 その結果、推論モデルは非推論モデル(71%対68%)とF1スコア(67%対60%)を上回り、Gemini 2.0 Flash Thinkingは75%、F1スコア(76%)を上回りました。 しかし、非共振モデルはより安定性(91%対84%の一貫性)を示した。 性能はICD-10コードによって異なり、推論モデルは複雑なケースでは優れ、抽象的なカテゴリでは苦労した。 発見は精度と一貫性のトレードオフを示し、ハイブリッドアプローチが臨床コーディングを最適化する可能性を示唆している。 今後,マルチラベル分類,ドメイン固有の微調整,およびアンサンブル手法について検討し,実世界のアプリケーションにおけるモデルの信頼性を高めることが必要である。

関連論文リスト

• Evaluating Hierarchical Clinical Document Classification Using Reasoning-Based LLMs [7.026393789313748]
  本研究は,大規模言語モデル(LLM)が病院退院サマリーからICD-10コードをどのように分類できるかを評価する。 推論ベースのモデルは一般的に非推論モデルよりも優れており、ジェミニ2.5 Proは全体として最高のパフォーマンスを示した。
  論文  参考訳（メタデータ） (2025-07-02T00:53:54Z)
• MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks [47.486705282473984]
  大規模言語モデル(LLM)は、医学試験においてほぼ完璧なスコアを得る。 これらの評価は、実際の臨床実践の複雑さと多様性を不十分に反映している。 MedHELMは,医療業務におけるLCMの性能を評価するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-05-26T22:55:49Z)
• Reliable Decision Support with LLMs: A Framework for Evaluating Consistency in Binary Text Classification Applications [0.7124971549479361]
  本研究では,大言語モデル(LLM)のバイナリテキスト分類における一貫性を評価するフレームワークを提案する。 我々は,サンプルサイズ要件を定め,不適切な応答の指標を開発し,レータ内およびレータ間信頼性を評価する。
  論文  参考訳（メタデータ） (2025-05-20T21:12:58Z)
• A Modular Approach for Clinical SLMs Driven by Synthetic Data with Pre-Instruction Tuning, Model Merging, and Clinical-Tasks Alignment [46.776978552161395]
  小型言語モデル(SLM)は、GPT-4のような大規模言語モデルに代わる費用対効果を提供する。 SLMは費用対効果のある代替手段を提供するが、その限られた能力は生物医学的な領域適応を必要とする。 本研究では,SLMを高性能な臨床モデルに適用するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-15T21:40:21Z)
• Benchmarking Open-Source Large Language Models on Healthcare Text Classification Tasks [2.7729041396205014]
  本研究では,オープンソースの5つの大言語モデル(LLM)の分類性能を評価する。 全てのモデルとタスクの組み合わせに対して、95%の信頼区間を有する精度、リコール、F1スコアを報告する。
  論文  参考訳（メタデータ） (2025-03-19T12:51:52Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• Leveraging Audio and Text Modalities in Mental Health: A Study of LLMs Performance [0.9074663948713616]
  本研究では,マルチモーダル精神保健診断におけるLarge Language Models(LLMs)の可能性について検討した。 テキストと音声のモダリティを比較し,LLMが音声入力で等しく動作するかどうかを検討する。
  論文  参考訳（メタデータ） (2024-12-09T20:40:03Z)
• CRTRE: Causal Rule Generation with Target Trial Emulation Framework [47.2836994469923]
  ターゲットトライアルエミュレーションフレームワーク(CRTRE)を用いた因果ルール生成という新しい手法を提案する。 CRTREは、アソシエーションルールの因果効果を推定するためにランダム化トライアル設計原則を適用している。 次に、病気発症予測などの下流アプリケーションにそのような関連ルールを組み込む。
  論文  参考訳（メタデータ） (2024-11-10T02:40:06Z)
• SemiHVision: Enhancing Medical Multimodal Models with a Semi-Human Annotated Dataset and Fine-Tuned Instruction Generation [13.672776832197918]
  MLLM(Multimodal large language model)は大きな進歩を遂げているが、専門知識が限られているため、医療分野の課題に直面している。 データ収集やモデル微調整,評価など,エンドツーエンドの学習パイプラインのさまざまな段階において,このギャップに対処することを目指している。
  論文  参考訳（メタデータ） (2024-10-19T02:35:35Z)
• Improving ICD coding using Chapter based Named Entities and Attentional Models [0.0]
  我々は、章ベースの名前付きエンティティと注意モデルを用いて、F1スコアを改善するICD符号化の強化アプローチを導入する。 本手法は, 放電サマリーをICD-9章に分類し, 章別データを用いた注意モデルを開発する。 分類には第IV章を使用し、ニューラルネットワークを使わずに重要な要素や重みをデバイアスし、影響を及ぼす。
  論文  参考訳（メタデータ） (2024-07-24T12:34:23Z)
• SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
  臨床知識を符号化するための言語モデル(LLM)が示されている。 6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。 ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• Large Language Models in Medical Term Classification and Unexpected Misalignment Between Response and Reasoning [28.355000184014084]
  本研究は, 軽度認知障害 (MCI) 患者を退院サマリーから識別する, 最先端の大規模言語モデル (LLMs) の有効性を評価するものである。 データは、モデルの微調整と評価のために、トレーニング、検証、テストセットに7:2:1の比率で分割された。 FalconやLLaMA 2のようなオープンソースのモデルは高い精度を達成したが、説明的推論に欠けていた。
  論文  参考訳（メタデータ） (2023-12-19T17:36:48Z)
• Beyond Accuracy: Automated De-Identification of Large Real-World Clinical Text Datasets [7.6631083158336715]
  本稿では,10億以上の臨床論文を識別するシステムの構築から学んだ教訓を要約する。 完全に自動化されたソリューションでは、手作業によるレビューを必要としない、非常に高いレベルの精度が必要です。
  論文  参考訳（メタデータ） (2023-12-13T20:15:29Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Collaborative residual learners for automatic icd10 prediction using prescribed medications [45.82374977939355]
  本稿では,処方用データのみを用いたicd10符号の自動予測のための協調残差学習モデルを提案する。 平均精度0.71および0.57のマルチラベル分類精度、F1スコア0.57および0.38の0.73および0.44の精度を取得し、患者および外来データセットの主診断をそれぞれ予測します。
  論文  参考訳（メタデータ） (2020-12-16T07:07:27Z)
• Ensemble model for pre-discharge icd10 coding prediction [45.82374977939355]
  正確なコード予測のための複数の臨床データソースを組み込んだアンサンブルモデルを提案する。 平均精度は0.73および0.58、F1スコアは0.56および0.35、患者および外来データセットの主診断予測では0.71および0.4のマルチラベル分類精度を得る。
  論文  参考訳（メタデータ） (2020-12-16T07:02:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。