論文の概要: Hybrid Student-Teacher Large Language Model Refinement for Cancer Toxicity Symptom Extraction
- arxiv url: http://arxiv.org/abs/2408.04775v1
- Date: Thu, 8 Aug 2024 22:18:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 17:08:34.637961
- Title: Hybrid Student-Teacher Large Language Model Refinement for Cancer Toxicity Symptom Extraction
- Title（参考訳）: 癌毒性症状抽出のためのハイブリッド学生・教師大言語モデル再構成
- Authors: Reza Khanmohammadi, Ahmed I. Ghanem, Kyle Verdecchia, Ryan Hall, Mohamed Elshaikh, Benjamin Movsas, Hassan Bagher-Ebadian, Bing Luo, Indrin J. Chetty, Tuka Alhanai, Kundan Thind, Mohammad M. Ghassemi,
- Abstract要約: 大きな言語モデル(LLM)は臨床症状の抽出に有意な可能性を秘めているが、医療分野への展開はプライバシの懸念、計算上の制限、運用コストに制約されている。
本研究は, 癌毒性症状抽出のためのコンパクトLLMの最適化について, 新規反復精製法を用いて検討した。
- 参考スコア（独自算出の注目度）: 3.564938069395287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) offer significant potential for clinical symptom extraction, but their deployment in healthcare settings is constrained by privacy concerns, computational limitations, and operational costs. This study investigates the optimization of compact LLMs for cancer toxicity symptom extraction using a novel iterative refinement approach. We employ a student-teacher architecture, utilizing Zephyr-7b-beta and Phi3-mini-128 as student models and GPT-4o as the teacher, to dynamically select between prompt refinement, Retrieval-Augmented Generation (RAG), and fine-tuning strategies. Our experiments on 294 clinical notes covering 12 post-radiotherapy toxicity symptoms demonstrate the effectiveness of this approach. The RAG method proved most efficient, improving average accuracy scores from 0.32 to 0.73 for Zephyr-7b-beta and from 0.40 to 0.87 for Phi3-mini-128 during refinement. In the test set, both models showed an approximate 0.20 increase in accuracy across symptoms. Notably, this improvement was achieved at a cost 45 times lower than GPT-4o for Zephyr and 79 times lower for Phi-3. These results highlight the potential of iterative refinement techniques in enhancing the capabilities of compact LLMs for clinical applications, offering a balance between performance, cost-effectiveness, and privacy preservation in healthcare settings.
- Abstract（参考訳）: 大きな言語モデル(LLM)は臨床症状の抽出に有意な可能性を秘めているが、医療分野への展開はプライバシの懸念、計算上の制限、運用コストに制約されている。
本研究は, 癌毒性症状抽出のためのコンパクトLLMの最適化について, 新規反復精製法を用いて検討した。
我々は,Zephyr-7b-beta と Phi3-mini-128 を学生モデルとして,GPT-4o を教師として利用し,迅速な改良,検索型拡張生成(RAG)、微調整戦略を動的に選択する。
放射線治療後有毒性症状12例を対象とした294例の臨床的検討により, 本手法の有効性が示された。
RAG法が最も効率的であることが示され、ゼフィア7b-βの平均精度スコアは0.32から0.73に改善され、Phi3-mini-128では0.40から0.87に改善された。
テストセットでは、両モデルとも症状間でほぼ0.20の精度が向上した。
この改良はゼファーのGPT-4oの45倍、Phi-3の79倍のコストで達成された。
これらの結果から, 医療現場における医療現場におけるコンパクトLSMの能力向上, パフォーマンス, 費用対効果, プライバシ保全のバランスの両立を図る上で, 反復的改善技術の可能性が浮かび上がっている。
関連論文リスト
- Brain Tumor Classification on MRI in Light of Molecular Markers [61.77272414423481]
1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。
本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
論文 参考訳（メタデータ） (2024-09-29T07:04:26Z) - Enhanced Prediction of Ventilator-Associated Pneumonia in Patients with Traumatic Brain Injury Using Advanced Machine Learning Techniques [0.0]
外傷性脳損傷(TBI)患者の呼吸器関連肺炎(VAP)は重大な死亡リスクをもたらす。
TBI患者のVAPのタイムリーな検出と予後は、患者の予後を改善し、医療資源の負担を軽減するために重要である。
我々はMIMIC-IIIデータベースを用いて6つの機械学習モデルを実装した。
論文 参考訳（メタデータ） (2024-08-02T09:44:18Z) - Machine Learning for ALSFRS-R Score Prediction: Making Sense of the Sensor Data [44.99833362998488]
筋萎縮性側索硬化症(Amyotrophic Lateral Sclerosis、ALS)は、急速に進行する神経変性疾患である。
iDPP@CLEF 2024チャレンジを先導した今回の調査は,アプリから得られるセンサデータを活用することに焦点を当てている。
論文 参考訳（メタデータ） (2024-07-10T19:17:23Z) - Leveraging Knowledge Distillation for Lightweight Skin Cancer Classification: Balancing Accuracy and Computational Efficiency [0.0]
皮膚がんは公衆衛生にとって大きな関心事であり、報告されているがんの3分の1を占めている。
本稿では,軽量ながら高い性能の分類器を作成するための知識蒸留に基づく手法を提案する。
高精度でコンパクトなサイズを持つため、われわれのモデルは、特に資源制約のある環境では、正確な皮膚がん分類の候補となる可能性がある。
論文 参考訳（メタデータ） (2024-06-24T18:13:09Z) - Validation of a new, minimally-invasive, software smartphone device to predict sleep apnea and its severity: transversal study [3.798946451618375]
閉塞性睡眠時無呼吸(OSA)は頻繁で、心臓血管の合併症や日中の過度な睡眠障害の原因となる。
スマートフォンのセンサーを使う別の方法は、診断を高めるのに役立つかもしれない。
本稿は,PSGによるスコアと比較して,スマートフォンによる信号の手動スコアリングが可能であり,正確であることを示す。
論文 参考訳（メタデータ） (2024-06-20T14:36:15Z) - Iterative Prompt Refinement for Radiation Oncology Symptom Extraction
Using Teacher-Student Large Language Models [1.3137489010086167]
学生モデルであるMixtralは、まず症状を抽出し、続いて教師モデルであるGPT-4は、Mixtralのパフォーマンスに基づいてプロンプトを洗練する。
その結果, 単症状と多症状のいずれにおいても, 症状の抽出に有意な改善が認められた。
論文 参考訳（メタデータ） (2024-02-06T15:25:09Z) - RECOVER: sequential model optimization platform for combination drug
repurposing identifies novel synergistic compounds in vitro [46.773794687622825]
深層学習モデルに適用した逐次モデル最適化探索を用いて,がん細胞株に対して高い相乗効果を持つ薬物の組み合わせを迅速に発見する。
モデルによりクエリされた組み合わせの集合は、非常にシナジスティックな組み合わせに富んでいることがわかった。
臨床的に検討中であることが判明した相乗効果薬の併用が再発見された。
論文 参考訳（メタデータ） (2022-02-07T02:54:29Z) - A Generic Deep Learning Based Cough Analysis System from Clinically
Validated Samples for Point-of-Need Covid-19 Test and Severity Levels [85.41238731489939]
臨床検体8,380名を対象に,Covid-19の迅速一次スクリーニングツールの検出性能について検討した。
提案手法は,経験的モード分解(EMD)に基づくアルゴリズムであり,その後に音声特徴量に基づく分類を行う。
DeepCoughの2つの異なるバージョン、すなわちDeepCough2DとDeepCough3Dのテンソル次元について検討した。
論文 参考訳（メタデータ） (2021-11-10T19:39:26Z) - Comparison of Machine Learning Classifiers to Predict Patient Survival
and Genetics of GBM: Towards a Standardized Model for Clinical Implementation [44.02622933605018]
放射線モデルは、グリオ芽腫(GBM)の結果予測のための臨床データを上回ることが示されています。
GBM患者の生存率(OS),IDH変異,O-6-メチルグアニン-DNA-メチルトランスフェラーゼ(MGMT)プロモーターメチル化,EGFR(EGFR)VII増幅,Ki-67発現の9種類の機械学習分類器を比較した。
xgb は os (74.5%), ab for idh 変異 (88%), mgmt メチル化 (71,7%), ki-67 発現 (86,6%), egfr増幅 (81。
論文 参考訳（メタデータ） (2021-02-10T15:10:37Z) - Attention-Based LSTM Network for COVID-19 Clinical Trial Parsing [0.0]
注意に基づく双方向長期記憶(Att-BiLSTM)モデルを訓練し、最適なモデルを用いて、新型コロナウイルス臨床試験の適性基準からエンティティを抽出する。
Att-BiLSTMの性能を従来のオントロジー法と比較した。
私たちの分析は、Att-BiLSTMがCOVID-19臨床試験で患者集団を特徴付ける効果的なアプローチであることを示しています。
論文 参考訳（メタデータ） (2020-12-18T05:55:52Z) - CovidDeep: SARS-CoV-2/COVID-19 Test Based on Wearable Medical Sensors
and Efficient Neural Networks [51.589769497681175]
新型コロナウイルス(SARS-CoV-2)がパンデミックを引き起こしている。
SARS-CoV-2の逆転写-ポリメラーゼ連鎖反応に基づく現在の試験体制は、試験要求に追いついていない。
我々は,効率的なDNNと市販のWMSを組み合わせたCovidDeepというフレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-20T21:47:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。