論文の概要: Hybrid Student-Teacher Large Language Model Refinement for Cancer Toxicity Symptom Extraction
- arxiv url: http://arxiv.org/abs/2408.04775v1
- Date: Thu, 8 Aug 2024 22:18:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 17:08:34.637961
- Title: Hybrid Student-Teacher Large Language Model Refinement for Cancer Toxicity Symptom Extraction
- Title(参考訳): 癌毒性症状抽出のためのハイブリッド学生・教師大言語モデル再構成
- Authors: Reza Khanmohammadi, Ahmed I. Ghanem, Kyle Verdecchia, Ryan Hall, Mohamed Elshaikh, Benjamin Movsas, Hassan Bagher-Ebadian, Bing Luo, Indrin J. Chetty, Tuka Alhanai, Kundan Thind, Mohammad M. Ghassemi,
- Abstract要約: 大きな言語モデル(LLM)は臨床症状の抽出に有意な可能性を秘めているが、医療分野への展開はプライバシの懸念、計算上の制限、運用コストに制約されている。
本研究は, 癌毒性症状抽出のためのコンパクトLLMの最適化について, 新規反復精製法を用いて検討した。
- 参考スコア(独自算出の注目度): 3.564938069395287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) offer significant potential for clinical symptom extraction, but their deployment in healthcare settings is constrained by privacy concerns, computational limitations, and operational costs. This study investigates the optimization of compact LLMs for cancer toxicity symptom extraction using a novel iterative refinement approach. We employ a student-teacher architecture, utilizing Zephyr-7b-beta and Phi3-mini-128 as student models and GPT-4o as the teacher, to dynamically select between prompt refinement, Retrieval-Augmented Generation (RAG), and fine-tuning strategies. Our experiments on 294 clinical notes covering 12 post-radiotherapy toxicity symptoms demonstrate the effectiveness of this approach. The RAG method proved most efficient, improving average accuracy scores from 0.32 to 0.73 for Zephyr-7b-beta and from 0.40 to 0.87 for Phi3-mini-128 during refinement. In the test set, both models showed an approximate 0.20 increase in accuracy across symptoms. Notably, this improvement was achieved at a cost 45 times lower than GPT-4o for Zephyr and 79 times lower for Phi-3. These results highlight the potential of iterative refinement techniques in enhancing the capabilities of compact LLMs for clinical applications, offering a balance between performance, cost-effectiveness, and privacy preservation in healthcare settings.
- Abstract(参考訳): 大きな言語モデル(LLM)は臨床症状の抽出に有意な可能性を秘めているが、医療分野への展開はプライバシの懸念、計算上の制限、運用コストに制約されている。
本研究は, 癌毒性症状抽出のためのコンパクトLLMの最適化について, 新規反復精製法を用いて検討した。
我々は,Zephyr-7b-beta と Phi3-mini-128 を学生モデルとして,GPT-4o を教師として利用し,迅速な改良,検索型拡張生成(RAG)、微調整戦略を動的に選択する。
放射線治療後有毒性症状12例を対象とした294例の臨床的検討により, 本手法の有効性が示された。
RAG法が最も効率的であることが示され、ゼフィア7b-βの平均精度スコアは0.32から0.73に改善され、Phi3-mini-128では0.40から0.87に改善された。
テストセットでは、両モデルとも症状間でほぼ0.20の精度が向上した。
この改良はゼファーのGPT-4oの45倍、Phi-3の79倍のコストで達成された。
これらの結果から, 医療現場における医療現場におけるコンパクトLSMの能力向上, パフォーマンス, 費用対効果, プライバシ保全のバランスの両立を図る上で, 反復的改善技術の可能性が浮かび上がっている。
関連論文リスト
- Leveraging Knowledge Distillation for Lightweight Skin Cancer Classification: Balancing Accuracy and Computational Efficiency [0.0]
皮膚がんは公衆衛生にとって大きな関心事であり、報告されているがんの3分の1を占めている。
本稿では,軽量ながら高い性能の分類器を作成するための知識蒸留に基づく手法を提案する。
高精度でコンパクトなサイズを持つため、われわれのモデルは、特に資源制約のある環境では、正確な皮膚がん分類の候補となる可能性がある。
論文 参考訳(メタデータ) (2024-06-24T18:13:09Z) - Validation of a new, minimally-invasive, software smartphone device to predict sleep apnea and its severity: transversal study [3.798946451618375]
閉塞性睡眠時無呼吸(OSA)は頻繁で、心臓血管の合併症や日中の過度な睡眠障害の原因となる。
スマートフォンのセンサーを使う別の方法は、診断を高めるのに役立つかもしれない。
本稿は,PSGによるスコアと比較して,スマートフォンによる信号の手動スコアリングが可能であり,正確であることを示す。
論文 参考訳(メタデータ) (2024-06-20T14:36:15Z) - Improving Breast Cancer Grade Prediction with Multiparametric MRI Created Using Optimized Synthetic Correlated Diffusion Imaging [71.91773485443125]
乳がん治療計画において、グレーディングは重要な役割を担っている。
現在の腫瘍グレード法では、患者から組織を抽出し、ストレス、不快感、医療費の上昇につながる。
本稿では,CDI$s$の最適化による乳癌の診断精度の向上について検討する。
論文 参考訳(メタデータ) (2024-05-13T15:48:26Z) - Iterative Prompt Refinement for Radiation Oncology Symptom Extraction
Using Teacher-Student Large Language Models [1.3137489010086167]
学生モデルであるMixtralは、まず症状を抽出し、続いて教師モデルであるGPT-4は、Mixtralのパフォーマンスに基づいてプロンプトを洗練する。
その結果, 単症状と多症状のいずれにおいても, 症状の抽出に有意な改善が認められた。
論文 参考訳(メタデータ) (2024-02-06T15:25:09Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - Deep Learning (DL)-based Automatic Segmentation of the Internal Pudendal
Artery (IPA) for Reduction of Erectile Dysfunction in Definitive Radiotherapy
of Localized Prostate Cancer [2.3547204612718393]
深層学習に基づくIPAのための自己分離モデルを提案する。
このモデルは、臨床実習における変化に対応するために、入力画像のモダリティとして、CTとMRIとCTのみを使用します。
提案モデルでは, セグメンテーションの均一性を向上させるため, 高品質なIPA輪郭が得られた。
論文 参考訳(メタデータ) (2023-02-03T02:00:06Z) - A Generic Deep Learning Based Cough Analysis System from Clinically
Validated Samples for Point-of-Need Covid-19 Test and Severity Levels [85.41238731489939]
臨床検体8,380名を対象に,Covid-19の迅速一次スクリーニングツールの検出性能について検討した。
提案手法は,経験的モード分解(EMD)に基づくアルゴリズムであり,その後に音声特徴量に基づく分類を行う。
DeepCoughの2つの異なるバージョン、すなわちDeepCough2DとDeepCough3Dのテンソル次元について検討した。
論文 参考訳(メタデータ) (2021-11-10T19:39:26Z) - Attention-Based LSTM Network for COVID-19 Clinical Trial Parsing [0.0]
注意に基づく双方向長期記憶(Att-BiLSTM)モデルを訓練し、最適なモデルを用いて、新型コロナウイルス臨床試験の適性基準からエンティティを抽出する。
Att-BiLSTMの性能を従来のオントロジー法と比較した。
私たちの分析は、Att-BiLSTMがCOVID-19臨床試験で患者集団を特徴付ける効果的なアプローチであることを示しています。
論文 参考訳(メタデータ) (2020-12-18T05:55:52Z) - Multilabel 12-Lead Electrocardiogram Classification Using Gradient
Boosting Tree Ensemble [64.29529357862955]
我々は,心電図の診断を分類するために,形態や信号処理機能に適合した勾配強化木のアンサンブルを用いたアルゴリズムを構築した。
各リードについて、心拍変動、PQRSTテンプレート形状、全信号波形から特徴を導出する。
各クラスに属するECGインスタンスの確率を予測するため、全12項目の特徴と合わせて、勾配を増す決定ツリーの集合に適合する。
論文 参考訳(メタデータ) (2020-10-21T18:11:36Z) - CovidDeep: SARS-CoV-2/COVID-19 Test Based on Wearable Medical Sensors
and Efficient Neural Networks [51.589769497681175]
新型コロナウイルス(SARS-CoV-2)がパンデミックを引き起こしている。
SARS-CoV-2の逆転写-ポリメラーゼ連鎖反応に基づく現在の試験体制は、試験要求に追いついていない。
我々は,効率的なDNNと市販のWMSを組み合わせたCovidDeepというフレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-20T21:47:28Z) - Learning for Dose Allocation in Adaptive Clinical Trials with Safety
Constraints [84.09488581365484]
新しい化合物の有効性と毒性の関係がより複雑になるにつれて、第1相線量測定試験はますます困難になっている。
最も一般的に使われている方法は、毒性事象のみから学習することで、最大許容量(MTD)を特定することである。
本稿では, 毒性安全性の制約を高い確率で満たしつつ, 累積効果を最大化することを目的とした, 適応型臨床試験手法を提案する。
論文 参考訳(メタデータ) (2020-06-09T03:06:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。