論文の概要: Enhancing Clinical Text Classification via Fine-Tuned DRAGON Longformer Models
- arxiv url: http://arxiv.org/abs/2507.09470v1
- Date: Sun, 13 Jul 2025 03:10:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:23.269409
- Title: Enhancing Clinical Text Classification via Fine-Tuned DRAGON Longformer Models
- Title（参考訳）: 微調整DRAGONロングフォーマーモデルによる臨床テキスト分類の強化
- Authors: Mingchuan Yang, Ziyuan Huang,
- Abstract要約: 本研究は,臨床テキスト分類のためのDRAGON Longformerベースモデルの最適化について検討する。
構造化された医療観察を含む500の臨床症例のデータセットを使用した。
最適化されたモデルは、顕著なパフォーマンス向上を達成した。
- 参考スコア（独自算出の注目度）: 7.514574388197471
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study explores the optimization of the DRAGON Longformer base model for clinical text classification, specifically targeting the binary classification of medical case descriptions. A dataset of 500 clinical cases containing structured medical observations was used, with 400 cases for training and 100 for validation. Enhancements to the pre-trained joeranbosma/dragon-longformer-base-mixed-domain model included hyperparameter tuning, domain-specific preprocessing, and architectural adjustments. Key modifications involved increasing sequence length from 512 to 1024 tokens, adjusting learning rates from 1e-05 to 5e-06, extending training epochs from 5 to 8, and incorporating specialized medical terminology. The optimized model achieved notable performance gains: accuracy improved from 72.0% to 85.2%, precision from 68.0% to 84.1%, recall from 75.0% to 86.3%, and F1-score from 71.0% to 85.2%. Statistical analysis confirmed the significance of these improvements (p < .001). The model demonstrated enhanced capability in interpreting medical terminology, anatomical measurements, and clinical observations. These findings contribute to domain-specific language model research and offer practical implications for clinical natural language processing applications. The optimized model's strong performance across diverse medical conditions underscores its potential for broad use in healthcare settings.
- Abstract（参考訳）: 本研究では,臨床テキスト分類のためのDRAGON Longformerベースモデルの最適化について検討する。
構造化された医療観察を含む500症例のデータセットを使用し,400症例のトレーニング,100症例の検証を行った。
トレーニング済みのJoeranbosma/dragon-longformer-base-mixed-domainモデルの拡張には、ハイパーパラメータチューニング、ドメイン固有の前処理、アーキテクチャ調整が含まれていた。
512から1024のトークンの配列長の増加,1e-05から5e-06への学習率の調整,5から8までの訓練エポックの延長,専門的な医学用語の取り入れなどであった。
精度は72.0%から85.2%、精度は68.0%から84.1%、リコールは75.0%から86.3%、F1スコアは71.0%から85.2%に向上した。
統計的解析によりこれらの改善の重要性が確認された(p < .001)。
このモデルは、医学用語、解剖学的測定、臨床観察の解釈能力の向上を実証した。
これらの知見は、ドメイン固有言語モデルの研究に寄与し、臨床自然言語処理への応用に実用的な意味を提供する。
この最適化されたモデルの性能は、多様な医療条件にまたがって強く、医療現場で広く利用される可能性を示している。
関連論文リスト
- Agentic large language models improve retrieval-based radiology question answering [4.340742745938289]
エージェント検索はゼロショットプロンプトよりも平均診断精度が有意に向上した。
最大の利益は中型モデルで発生した。
臨床的に微調整されたモデルでさえ、有意義な改善が見られた。
論文 参考訳（メタデータ） (2025-08-01T16:18:52Z) - Gazal-R1: Achieving State-of-the-Art Medical Reasoning with Parameter-Efficient Two-Stage Training [0.0]
医学推論における最先端性能を実現する32ビリオンパラメータ言語モデルであるGazal-R1を提案する。
我々のモデルは、中規模のモデルが専門分野においてはるかに大きなモデルよりも優れた性能を発揮することを実証している。
Gazal-R1は、MedQAで87.1%、MMLU Proで81.6%、PubMedQAで79.6%、医療ベンチマークで例外的なパフォーマンスを達成した。
論文 参考訳（メタデータ） (2025-06-18T09:44:21Z) - A Modular Approach for Clinical SLMs Driven by Synthetic Data with Pre-Instruction Tuning, Model Merging, and Clinical-Tasks Alignment [46.776978552161395]
小型言語モデル(SLM)は、GPT-4のような大規模言語モデルに代わる費用対効果を提供する。
SLMは費用対効果のある代替手段を提供するが、その限られた能力は生物医学的な領域適応を必要とする。
本研究では,SLMを高性能な臨床モデルに適用するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-15T21:40:21Z) - SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
臨床知識を符号化するための言語モデル(LLM)が示されている。
6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。
ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
論文 参考訳（メタデータ） (2024-07-03T11:02:12Z) - A Comprehensive Evaluation of Histopathology Foundation Models for Ovarian Cancer Subtype Classification [1.9499122087408571]
病理組織学の基礎モデルは、多くのタスクにまたがる大きな約束を示している。
これまでで最も厳格な単一タスクによる病理組織学的基盤モデルの検証を報告した。
病理組織学的基盤モデルは卵巣がんの亜型化に明確な利益をもたらす。
論文 参考訳（メタデータ） (2024-05-16T11:21:02Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - Large Language Models to Identify Social Determinants of Health in
Electronic Health Records [2.168737004368243]
健康の社会的決定因子(SDoH)は、患者の結果に重要な影響を与えるが、電子健康記録(EHR)から不完全に収集される。
本研究では,EHRにおける自由テキストからSDoHを抽出する大規模言語モデルについて検討した。
800の患者ノートをSDoHカテゴリーにアノテートし,いくつかのトランスフォーマーモデルを評価した。
論文 参考訳（メタデータ） (2023-08-11T19:18:35Z) - MEDBERT.de: A Comprehensive German BERT Model for the Medical Domain [45.96917694724562]
medBERTdeは、ドイツの医療ドメイン向けに設計された、訓練済みのドイツのBERTモデルである。
このモデルは、ドイツの医療文書470万件の大規模なコーパスで訓練されている。
論文 参考訳（メタデータ） (2023-03-14T18:58:08Z) - Domain-adapted large language models for classifying nuclear medicine
reports [11.364745410780678]
2008-2018年のFDG PET/CTリンパ腫検診では,4542本のテキストと1664枚の画像が再検索された。
複数の汎用トランスフォーマー言語モデルを用いて、レポートをDauvilleスコア1-5に分類した。
マスク付き言語モデルを用いて核医学領域にモデルを適用し,その分類性能への影響を評価した。
論文 参考訳（メタデータ） (2023-03-01T09:48:39Z) - Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。
生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。
今回,最も多い患者,すなわち30日間の寛解率について検討した。
論文 参考訳（メタデータ） (2022-11-13T01:07:23Z) - On the explainability of hospitalization prediction on a large COVID-19
patient dataset [45.82374977939355]
我々は、新型コロナウイルス陽性の米国の患者の大規模な(110ドル以上)コホートでの入院を予測するために、さまざまなAIモデルを開発した。
高いデータアンバランスにもかかわらず、モデルは平均精度0.96-0.98 (0.75-0.85)、リコール0.96-0.98 (0.74-0.85)、F_score097-0.98 (0.79-0.83)に達する。
論文 参考訳（メタデータ） (2021-10-28T10:23:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。