論文の概要: Selective Fine-Tuning of GPT Architectures for Parameter-Efficient Clinical Text Classification
- arxiv url: http://arxiv.org/abs/2603.14183v1
- Date: Sun, 15 Mar 2026 02:16:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.653217
- Title: Selective Fine-Tuning of GPT Architectures for Parameter-Efficient Clinical Text Classification
- Title（参考訳）: パラメータ効率の良い臨床テキスト分類のためのGPTアーキテクチャの選択的微調整
- Authors: Fariba Afrin Irany, Sampson Akwafuo,
- Abstract要約: 本研究は,GPT-2を臨床テキスト分類タスクに適用するためのパラメータ効率の選択的微調整フレームワークを提案する。
事前訓練されたモデル全体を更新する代わりに、ほとんどのネットワークパラメータは凍結され、トレーニング中に最終トランスフォーマーブロック、最終層正規化モジュール、軽量分類ヘッドのみが更新される。
5万件の実験では、選択的な微調整がおよそ91%の分類精度を達成し、モデルパラメータの6%未満を更新している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid expansion of electronic health record (EHR) systems has generated large volumes of unstructured clinical narratives that contain valuable information for disease identification, patient cohort discovery, and clinical decision support. Extracting structured knowledge from these free-text documents remains challenging because clinical language is highly specialized, labeled datasets are limited, and full fine-tuning of large pretrained language models can require substantial computational resources. Efficient adaptation strategies are therefore essential for practical clinical natural language processing applications. This study proposes a parameter-efficient selective fine-tuning framework for adapting GPT-2 to clinical text classification tasks. Instead of updating the entire pretrained model, the majority of network parameters are frozen, and only the final Transformer block, the final layer normalization module, and a lightweight classification head are updated during training. This design substantially reduces the number of trainable parameters while preserving the contextual representation capabilities learned during pretraining. The proposed approach is evaluated using radiology reports from the MIMIC-IV-Note dataset with automatically derived CheXpert-style labels. Experiments on 50,000 radiology reports demonstrate that selective fine-tuning achieves approximately 91% classification accuracy while updating fewer than 6% of the model parameters. Comparative experiments with head-only training and full-model fine-tuning show that the proposed method provides a favorable balance between predictive performance and computational efficiency. These results indicate that selective fine-tuning offers an efficient and scalable framework for clinical text classification.
- Abstract（参考訳）: 電子健康記録(EHR)システムの急速な拡張は、疾患の特定、患者のコホート発見、臨床決定支援に有用な情報を含む、多数の構造化されていない臨床物語を生み出している。
これらの自由テキスト文書から構造化された知識を抽出することは、臨床言語が高度に専門化されており、ラベル付きデータセットは限られており、大きな事前訓練された言語モデルの完全な微調整は、かなりの計算資源を必要とするため、依然として困難である。
したがって、効果的な適応戦略は、実践的な自然言語処理の応用に不可欠である。
本研究は,GPT-2を臨床テキスト分類タスクに適用するためのパラメータ効率の選択的微調整フレームワークを提案する。
事前訓練されたモデル全体を更新する代わりに、ほとんどのネットワークパラメータは凍結され、トレーニング中に最終トランスフォーマーブロック、最終層正規化モジュール、軽量分類ヘッドのみが更新される。
この設計は、事前訓練中に学習した文脈表現能力を保ちながら、トレーニング可能なパラメータの数を大幅に削減する。
提案手法は,MIMIC-IV-NoteデータセットからCheXpertスタイルのラベルを自動抽出した放射線学レポートを用いて評価する。
5万件の実験では、選択的な微調整がおよそ91%の分類精度を達成し、モデルパラメータの6%未満を更新している。
ヘッドオンリートレーニングとフルモデル微調整との比較実験により,提案手法は予測性能と計算効率のバランスが良好であることを示した。
これらの結果は、選択的微調整は、臨床テキスト分類のための効率的でスケーラブルなフレームワークを提供することを示している。
関連論文リスト
- From Generative Modeling to Clinical Classification: A GPT-Based Architecture for EHR Notes [0.0]
本研究は臨床テキスト分類のためのGPTアーキテクチャを提案する。
すべてのモデルパラメータを更新する代わりに、GPT-2のバックボーンの大部分は凍結されている。
提案手法はMIMIC-IV-Noteデータセットからの放射線学報告に基づいて評価する。
論文 参考訳（メタデータ） (2026-01-29T16:33:47Z) - Cross-Representation Benchmarking in Time-Series Electronic Health Records for Clinical Outcome Prediction [44.23284500920266]
このベンチマークは、2つの異なる臨床環境におけるデータキュレーションと評価を標準化する。
実験によると、イベントストリームモデルは、常に最強のパフォーマンスを提供する。
特徴選択戦略は臨床環境に適応する必要がある。
論文 参考訳（メタデータ） (2025-10-10T09:03:47Z) - AUTOCT: Automating Interpretable Clinical Trial Prediction with LLM Agents [47.640779069547534]
AutoCTは、大規模言語モデルの推論能力と古典的な機械学習の説明可能性を組み合わせた、新しいフレームワークである。
臨床治験予測タスクにおいて, AutoCT は SOTA 法と同等以上の性能を示した。
論文 参考訳（メタデータ） (2025-06-04T11:50:55Z) - SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
臨床知識を符号化するための言語モデル(LLM)が示されている。
6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。
ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
論文 参考訳（メタデータ） (2024-07-03T11:02:12Z) - Multimodal Pretraining of Medical Time Series and Notes [45.89025874396911]
ディープラーニングモデルは、意味のあるパターンを抽出する際の約束を示すが、広範囲なラベル付きデータが必要である。
本稿では,臨床測定値とノートのアライメントに着目し,自己指導型事前学習を用いた新しいアプローチを提案する。
病院内での死亡予測や表現型化などの下流タスクでは、データのごく一部がラベル付けされた設定において、ベースラインよりも優れています。
論文 参考訳（メタデータ） (2023-12-11T21:53:40Z) - Parameter-Efficient Fine-Tuning of LLaMA for the Clinical Domain [13.912870728383396]
臨床応用のような新しい領域に事前訓練された言語モデルを適用するには、伝統的にパラメータの集合全体をトレーニングする必要がある。
本稿では,2段階のPEFTフレームワークを提案し,臨床領域で評価する。
論文 参考訳（メタデータ） (2023-07-06T15:06:41Z) - Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。
生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。
今回,最も多い患者,すなわち30日間の寛解率について検討した。
論文 参考訳（メタデータ） (2022-11-13T01:07:23Z) - A Multimodal Transformer: Fusing Clinical Notes with Structured EHR Data
for Interpretable In-Hospital Mortality Prediction [8.625186194860696]
臨床ノートと構造化HRデータを融合し,院内死亡率の予測に役立てる新しいマルチモーダルトランスフォーマーを提案する。
そこで本研究では,臨床ノートにおいて重要な単語を選択するための統合的勾配(IG)手法を提案する。
また,臨床 BERT における領域適応型事前訓練とタスク適応型微調整の重要性についても検討した。
論文 参考訳（メタデータ） (2022-08-09T03:49:52Z) - An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。
最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。
本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
論文 参考訳（メタデータ） (2020-11-12T17:14:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。