論文の概要: Enhancing Multi-Class Disease Classification: Neoplasms, Cardiovascular, Nervous System, and Digestive Disorders Using Advanced LLMs

• arxiv url: http://arxiv.org/abs/2411.12712v1
• Date: Tue, 19 Nov 2024 18:27:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:11.387074
• Title: Enhancing Multi-Class Disease Classification: Neoplasms, Cardiovascular, Nervous System, and Digestive Disorders Using Advanced LLMs
• Title（参考訳）: 多型疾患分類の強化 : 先進性LDMを用いた腫瘍, 心血管系, 神経系, 消化障害
• Authors: Ahmed Akib Jawad Karim, Muhammad Zawad Mahmud, Samiha Islam, Aznur Azam,
• Abstract要約: BioBERTは、医学データに基づいて事前訓練され、医用テキスト分類において優れた性能を示した。 BERTの軽量バージョンに基づくカスタムモデルであるXLNetも87.10%の精度で競合した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this research, we explored the improvement in terms of multi-class disease classification via pre-trained language models over Medical-Abstracts-TC-Corpus that spans five medical conditions. We excluded non-cancer conditions and examined four specific diseases. We assessed four LLMs, BioBERT, XLNet, and BERT, as well as a novel base model (Last-BERT). BioBERT, which was pre-trained on medical data, demonstrated superior performance in medical text classification (97% accuracy). Surprisingly, XLNet followed closely (96% accuracy), demonstrating its generalizability across domains even though it was not pre-trained on medical data. LastBERT, a custom model based on the lighter version of BERT, also proved competitive with 87.10% accuracy (just under BERT's 89.33%). Our findings confirm the importance of specialized models such as BioBERT and also support impressions around more general solutions like XLNet and well-tuned transformer architectures with fewer parameters (in this case, LastBERT) in medical domain tasks.
• Abstract（参考訳）: 本研究は,5つの医学的条件にまたがる医学的抽象化-TC-Corpusに対する事前訓練言語モデルによる多型疾患分類の改善について検討した。 非癌性疾患を除外し,4つの特異な疾患について検討した。 我々は,BioBERT,XLNet,BERTの4つのLLMと,新しいベースモデル(Last-BERT)について検討した。 医学データに基づいて事前トレーニングを行ったBioBERTは,医用テキスト分類(97%の精度)において優れた性能を示した。 驚いたことに、XLNetは96%の精度で、医療データで事前トレーニングされていないにもかかわらず、ドメイン間の一般化性を示した。 BERTの軽量バージョンをベースにしたカスタムモデルであるLastBERTも87.10%の精度で競合した(BERTの89.33%以下)。 以上の結果から,BioBERTなどの専門モデルの重要性が確認され,医療領域タスクにおけるXLNetや,パラメータが少ない(この場合,LastBERT)十分に調整されたトランスフォーマーアーキテクチャといった,より一般的なソリューションに対する印象が裏付けられている。

関連論文リスト

• Brain Tumor Classification on MRI in Light of Molecular Markers [61.77272414423481]
  1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。 本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
  論文  参考訳（メタデータ） (2024-09-29T07:04:26Z)
• Improving Extraction of Clinical Event Contextual Properties from Electronic Health Records: A Comparative Study [2.0884301753594334]
  本研究は,医学テキスト分類のための様々な自然言語モデルの比較分析を行う。 BERTはBi-LSTMモデルを最大28%、ベースラインのBERTモデルを最大16%上回り、マイノリティクラスをリコールする。
  論文  参考訳（メタデータ） (2024-08-30T10:28:49Z)
• Utilizing Large Language Models to Generate Synthetic Data to Increase the Performance of BERT-Based Neural Networks [0.7071166713283337]
  私たちは機械学習モデルをトレーニングするのに十分な規模のデータセットを作成しました。 私たちのゴールは自閉症の基準に対応する行動のラベル付けです。 データの増大はリコールを13%増加させたが、精度は16%低下した。
  論文  参考訳（メタデータ） (2024-05-08T03:18:12Z)
• Using Pre-training and Interaction Modeling for ancestry-specific disease prediction in UK Biobank [69.90493129893112]
  近年のゲノムワイド・アソシエーション(GWAS)研究は、複雑な形質の遺伝的基盤を明らかにしているが、非ヨーロッパ系個体の低発現を示している。 そこで本研究では,マルチオミクスデータを用いて,多様な祖先間での疾患予測を改善することができるかを評価する。
  論文  参考訳（メタデータ） (2024-04-26T16:39:50Z)
• Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
  私たちは、70億から700億のパラメータからなる、医療AIシステムの新しいファミリーであるMeerkatを紹介します。 我々のシステムは6つの医療ベンチマークで顕著な精度を達成した。 Meerkat-70Bは38例中21例を正しく診断し、ヒトの13.8例を上回った。
  論文  参考訳（メタデータ） (2024-03-30T14:09:00Z)
• BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text [82.7001841679981]
  BioMedLM は270億のパラメータ GPT スタイルの自己回帰モデルであり、PubMed の抽象概念と全記事に特化して訓練されている。 微調整すると、BioMedLMはより大規模なモデルと競合する強力な多重選択のバイオメディカルな質問応答結果を生成することができる。 BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
  論文  参考訳（メタデータ） (2024-03-27T10:18:21Z)
• Large Language Multimodal Models for 5-Year Chronic Disease Cohort Prediction Using EHR Data [15.474201222908107]
  糖尿病などの慢性疾患が世界中で致死率と死亡率の主な原因となっている。 我々は,慢性疾患リスクの予測にマルチモーダルデータを組み込んだLarge Language Multimodal Models (LLMMs) フレームワークを提案する。 本手法では, テキスト埋め込みエンコーダとマルチヘッドアテンション層を組み合わせて, 深層ニューラルネットワーク(DNN)モジュールを用いて, 血液の特徴と慢性疾患のセマンティクスを潜在空間にマージする。
  論文  参考訳（メタデータ） (2024-03-02T22:33:17Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。