論文の概要: Advancing Pancreatic Cancer Prediction with a Next Visit Token Prediction Head on top of Med-BERT

• arxiv url: http://arxiv.org/abs/2501.02044v1
• Date: Fri, 03 Jan 2025 18:32:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:29.343791
• Title: Advancing Pancreatic Cancer Prediction with a Next Visit Token Prediction Head on top of Med-BERT
• Title（参考訳）: Med-BERT上での次回訪問気道予測による膵癌予知の促進
• Authors: Jianping He, Laila Rasmy, Degui Zhi, Cui Tao,
• Abstract要約: 我々は,病気のバイナリ予測タスクをトークン予測タスクと次のビジターマスクトークン予測タスクに再構成し,Med-BERTの事前学習タスクフォーマットに適合させた。 Med-BERT-Sumと呼ばれるトークン予測タスクへのタスクの再構築は、少数のシナリオとより大きなデータサンプルの両方において、わずかに優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 5.929423279830467
• License:
• Abstract: Background: Recently, numerous foundation models pretrained on extensive data have demonstrated efficacy in disease prediction using Electronic Health Records (EHRs). However, there remains some unanswered questions on how to best utilize such models especially with very small fine-tuning cohorts. Methods: We utilized Med-BERT, an EHR-specific foundation model, and reformulated the disease binary prediction task into a token prediction task and a next visit mask token prediction task to align with Med-BERT's pretraining task format in order to improve the accuracy of pancreatic cancer (PaCa) prediction in both few-shot and fully supervised settings. Results: The reformulation of the task into a token prediction task, referred to as Med-BERT-Sum, demonstrates slightly superior performance in both few-shot scenarios and larger data samples. Furthermore, reformulating the prediction task as a Next Visit Mask Token Prediction task (Med-BERT-Mask) significantly outperforms the conventional Binary Classification (BC) prediction task (Med-BERT-BC) by 3% to 7% in few-shot scenarios with data sizes ranging from 10 to 500 samples. These findings highlight that aligning the downstream task with Med-BERT's pretraining objectives substantially enhances the model's predictive capabilities, thereby improving its effectiveness in predicting both rare and common diseases. Conclusion: Reformatting disease prediction tasks to align with the pretraining of foundation models enhances prediction accuracy, leading to earlier detection and timely intervention. This approach improves treatment effectiveness, survival rates, and overall patient outcomes for PaCa and potentially other cancers.
• Abstract（参考訳）: 背景:近年,電子健康記録(EHRs)を用いた疾患予測において,広範囲なデータで事前訓練された基礎モデルが有効であることが示されている。 しかし、そのようなモデルを特に非常に小さな微調整コホートでどのように最適に活用するかについては、未解決の疑問が残っている。 方法: 本手法では, EHR 固有の基礎モデルである Med-BERT を用いて, 疾患のバイナリ予測タスクをトークン予測タスクと次回来訪マスクトークン予測タスクに再構成し, 膵癌予知の精度向上を図る。 結果:Med-BERT-Sumと呼ばれるトークン予測タスクへのタスクの修正は,少数のシナリオとより大きなデータサンプルの両方において,わずかに優れたパフォーマンスを示す。 さらに,次の訪問マスクトークン予測タスク(Med-BERT-Mask)としての予測タスクは,データサイズが10～500サンプルの範囲で,従来のバイナリ分類(Med-BERT-Bsk)予測タスク(Med-BERT-Bsk)を3%から7%向上させる。 これらの結果から, 下流課題とMed-BERTの事前学習目標との整合性は, モデルの予測能力を大幅に向上させ, 稀な疾患と共通疾患の両方を予測する効果を向上させることが示唆された。 結論: 基礎モデルの事前訓練に合わせて疾患予測タスクを改革することで、予測精度が向上し、早期発見とタイムリーな介入につながる。 このアプローチは、PaCaおよび潜在的に他のがんに対する治療効果、生存率、患者全体の成績を改善する。

関連論文リスト

• SepsisLab: Early Sepsis Prediction with Uncertainty Quantification and Active Sensing [67.8991481023825]
  セプシスは米国での院内死亡の主な原因である。 既存の予測モデルは通常、情報不足の少ない高品質なデータで訓練される。 限られた観察により信頼性の低い高リスク患者に対して,ロバストな能動センシングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-24T04:47:36Z)
• Forecast reconciliation for vaccine supply chain optimization [61.13962963550403]
  ワクチンサプライチェーン最適化は階層的な時系列予測の恩恵を受けることができる。 異なる階層レベルの予測は、上位レベルの予測が下位レベルの予測の総和と一致しないときに不整合となる。 我々は2010年から2021年にかけてのGSKの販売データを階層的時系列としてモデル化し,ワクチン販売予測問題に取り組む。
  論文  参考訳（メタデータ） (2023-05-02T14:34:34Z)
• Predicting infections in the Covid-19 pandemic -- lessons learned [5.981641988736108]
  本稿では,XPrize Pandemic Response Challengeのために提案された予測アルゴリズムから始める。 モデル化された地域の文化に関する付加的な情報でアルゴリズムを増強することで、短期予測の性能を向上させることができることがわかった。 中期予測の精度は依然として低く、そのようなモデルを公共政策ツールボックスの信頼性の高いコンポーネントにするためには、かなりの量の将来の研究が必要である。
  論文  参考訳（メタデータ） (2021-12-02T20:20:46Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Learning to Predict with Supporting Evidence: Applications to Clinical Risk Prediction [9.199022926064009]
  機械学習モデルがヘルスケアに与える影響は、医療専門家がこれらのモデルによって予測される信頼度に依存する。 予測が信頼されるべき理由に関するドメイン関連証拠を,臨床専門性のある人に提供するための方法を提示する。
  論文  参考訳（メタデータ） (2021-03-04T00:26:32Z)
• Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
  臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。 退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。 複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
  論文  参考訳（メタデータ） (2021-02-08T10:26:44Z)
• UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
  我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。 非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
  論文  参考訳（メタデータ） (2020-10-22T02:28:11Z)
• Prediction-Coherent LSTM-based Recurrent Neural Network for Safer Glucose Predictions in Diabetic People [4.692400531340393]
  本稿では,予測の安定性を高めるLSTMに基づくリカレントニューラルネットワークアーキテクチャと損失関数を提案する。 研究は1型と2型糖尿病患者を対象に行われ、30分前の予測に焦点をあてた。
  論文  参考訳（メタデータ） (2020-09-08T13:14:08Z)
• Backtesting the predictability of COVID-19 [0.0]
  我々は,2020年1月22日から6月22日までの253地域でのCOVID-19感染の歴史的データを用いている。 パンデミックの初期段階では予測誤差が著しく高く、データ不足によるものである。 いずれにせよ国が示すような確認ケースが多ければ多いほど、将来の確認ケースを予想するエラーは少なくなる。
  論文  参考訳（メタデータ） (2020-07-22T13:18:00Z)
• Med-BERT: pre-trained contextualized embeddings on large-scale structured electronic health records for disease prediction [12.669003066030697]
  28,490,650人のEHRデータセットから得られた構造化診断データに基づいて,コンテキスト適応型埋め込みモデルの事前学習にBERTフレームワークを適用したMed-BERTを提案する。 Med-BERTは予測精度を大幅に改善し、受信機動作特性曲線(AUC)の領域を2.02-7.12%向上させた。 特に、事前訓練されたMed-BERTは、非常に小さな微調整の訓練セット(300-500サンプル)でタスクのパフォーマンスを大幅に改善し、AUCを20%以上、または10倍の訓練セットのAUCと同等にする。
  論文  参考訳（メタデータ） (2020-05-22T05:07:17Z)
• Short Term Blood Glucose Prediction based on Continuous Glucose Monitoring Data [53.01543207478818]
  本研究では,デジタル意思決定支援ツールの入力として連続グルコースモニタリング(Continuous Glucose Monitoring, CGM)データを利用する方法について検討する。 短時間の血液グルコース (STBG) 予測において, リカレントニューラルネットワーク (Recurrent Neural Networks, RNN) をどのように利用できるかを検討する。
  論文  参考訳（メタデータ） (2020-02-06T16:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。