論文の概要: Adapting Pretrained Language Models for Solving Tabular Prediction Problems in the Electronic Health Record

• arxiv url: http://arxiv.org/abs/2303.14920v1
• Date: Mon, 27 Mar 2023 05:34:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 16:56:37.310335
• Title: Adapting Pretrained Language Models for Solving Tabular Prediction Problems in the Electronic Health Record
• Title（参考訳）: 電子健康記録における表予測問題に対する事前学習言語モデルの適用
• Authors: Christopher McMaster, David FL Liew, Douglas EV Pires
• Abstract要約: 本研究は,MIMIC-III放電サマリー,臨床ノート,放射線学報告,PubMed要約からなるデータセット上で,小さなDeBERTaモデルを事前訓練する。 我々は,本モデルの性能を,施設のEHR(DeBERTa)とXGBoostモデルから臨床テキストを事前学習したDeBERTaモデルと比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an approach for adapting the DeBERTa model for electronic health record (EHR) tasks using domain adaptation. We pretrain a small DeBERTa model on a dataset consisting of MIMIC-III discharge summaries, clinical notes, radiology reports, and PubMed abstracts. We compare this model's performance with a DeBERTa model pre-trained on clinical texts from our institutional EHR (MeDeBERTa) and an XGBoost model. We evaluate performance on three benchmark tasks for emergency department outcomes using the MIMIC-IV-ED dataset. We preprocess the data to convert it into text format and generate four versions of the original datasets to compare data processing and data inclusion. The results show that our proposed approach outperforms the alternative models on two of three tasks (p<0.001) and matches performance on the third task, with the use of descriptive columns improving performance over the original column names.
• Abstract（参考訳）: 本稿ではドメイン適応を用いた電子健康記録(EHR)タスクにDeBERTaモデルを適用するアプローチを提案する。 我々は,MIMIC-III放電サマリー,臨床ノート,放射線学報告,PubMed要約からなるデータセット上で,小さなDeBERTaモデルを事前訓練する。 我々は,このモデルの性能を,臨床用EHR(MeDeBERTa)とXGBoostモデルから臨床用テキストを事前学習したDeBERTaモデルと比較した。 また,MIMIC-IV-EDデータセットを用いて,3つのベンチマークタスクの性能評価を行った。 データを前処理してテキストフォーマットに変換し、元のデータセットの4バージョンを生成して、データ処理とデータインクルージョンを比較します。 その結果,提案手法は3つのタスクのうち2つのモデル (p<0.001) よりも優れており,第3のタスクのパフォーマンスと一致していることがわかった。

関連論文リスト

• A Three-Phases SFT Hybrid Model Integrated Strong Prior Module and Data Overlap Estimation in the Eduation Context [0.0]
  教師付き微調整モデルとして,エンド・ツー・エンドの3相モデルを提案する。 本モデルは,学習知識の構造的分解と漸進的指導によるアウトプットを実現する。 当社のモデルは,オープンソースモデルと比較して,コード能力の最先端性も達成している。
  論文  参考訳（メタデータ） (2024-03-13T05:38:39Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models [6.506937003687058]
  スタンフォード大学の6,739人の患者の電子健康記録(EHRs)から構造化されたデータを含む新しいデータセット EHRSHOT を公表した。 第2に,257万症例のERHデータに基づいて事前訓練した141Mパラメータ臨床基盤モデルであるCLMBR-T-baseの重みを公表した。 第3に、15の臨床的予測タスクを定義し、サンプル効率やタスク適応などの利点に基づく基礎モデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-07-05T05:24:59Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• Stacking Ensemble Learning in Deep Domain Adaptation for Ophthalmic Image Classification [61.656149405657246]
  ドメイン適応は、十分なラベルデータを取得することが困難な画像分類タスクに有効である。 本稿では,3つのドメイン適応手法を拡張することで,アンサンブル学習を積み重ねるための新しい手法SELDAを提案する。 Age-Related Eye Disease Study (AREDS)ベンチマーク眼科データセットを用いた実験結果から,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-09-27T14:19:00Z)
• Negation detection in Dutch clinical texts: an evaluation of rule-based and machine learning methods [0.21079694661943607]
  オランダ臨床ノートにおける否定検出の3つの方法の比較を行った。 その結果,biLSTMモデルとRoBERTaモデルはF1スコア,精度,リコールという点で,ルールベースモデルよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-09-01T14:00:13Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)
• Machine learning with incomplete datasets using multi-objective optimization models [1.933681537640272]
  分類モデルが学習されている間、欠落した値を扱うオンラインアプローチを提案する。 命令とモデル選択のための2つの目的関数を持つ多目的最適化モデルを開発する。 NSGA IIに基づく進化的アルゴリズムを用いて最適解を求める。
  論文  参考訳（メタデータ） (2020-12-04T03:44:33Z)
• An Ensemble Approach for Automatic Structuring of Radiology Reports [6.186392239590685]
  本稿では,3つのモデルの予測を集約し,文の自動ラベリングのためのテキスト情報の様々な属性をキャプチャするアンサンブル手法を提案する。 提案手法は97.1%の精度で他の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-05T18:11:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。