論文の概要: MedRep: Medical Concept Representation for General Electronic Health Record Foundation Models
- arxiv url: http://arxiv.org/abs/2504.08329v1
- Date: Fri, 11 Apr 2025 07:51:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-14 14:20:30.372197
- Title: MedRep: Medical Concept Representation for General Electronic Health Record Foundation Models
- Title(参考訳): MedRep:一般電子健康記録基盤モデルのための医療概念表現
- Authors: Junmo Kim, Namkyeong Lee, Jiwon Kim, Kwangsoo Kim,
- Abstract要約: 我々は、観察医療成果パートナーシップ(OMOP)共通データモデル(CDM)に基づくEHR基盤モデルのためのMedRepを提案する。
概念表現学習では,大言語モデル(LLM)のプロンプトによって,概念の情報を最小限の定義で強化する。
我々は、MedRepでトレーニングされたEHRファンデーションモデルが、外部データセットの予測性能をより良く維持できることを実証する。
- 参考スコア(独自算出の注目度): 35.16860835684908
- License:
- Abstract: Electronic health record (EHR) foundation models have been an area ripe for exploration with their improved performance in various medical tasks. Despite the rapid advances, there exists a fundamental limitation: Processing unseen medical codes out of the vocabulary. This problem limits the generality of EHR foundation models and the integration of models trained with different vocabularies. To deal with this problem, we propose MedRep for EHR foundation models based on the observational medical outcome partnership (OMOP) common data model (CDM), providing the integrated medical concept representations and the basic data augmentation strategy for patient trajectories. For concept representation learning, we enrich the information of each concept with a minimal definition through large language model (LLM) prompts and enhance the text-based representations through graph ontology of OMOP vocabulary. Trajectory augmentation randomly replaces selected concepts with other similar concepts that have closely related representations to let the model practice with the concepts out-of-vocabulary. Finally, we demonstrate that EHR foundation models trained with MedRep better maintain the prediction performance in external datasets. Our code implementation is publicly available at https://github.com/kicarussays/MedRep.
- Abstract(参考訳): 電子健康記録(EHR)ファンデーションモデルは、様々な医療タスクにおいて、そのパフォーマンスを改善した探索のための領域である。
急速な進歩にもかかわらず、基本的な制限がある: 語彙から見えない医療コードを処理すること。
この問題は、EHR基礎モデルの一般化と異なる語彙で訓練されたモデルの統合を制限する。
この問題に対処するため,我々は,OMOPコモンデータモデル(CDM)に基づくEMH基盤モデルのためのMedRepを提案し,統合医療概念表現と患者軌跡に対する基本データ拡張戦略を提供する。
概念表現学習では,大言語モデル(LLM)による最小限の定義で,OMOP語彙のグラフオントロジーによるテキストベース表現を促進・強化する。
軌道拡大は、選択された概念を、モデルに語彙外の概念を実践させるために、密接に関連する表現を持つ他の類似した概念にランダムに置き換える。
最後に、MedRepでトレーニングされたEHRファンデーションモデルが、外部データセットの予測性能をより良く維持できることを実証する。
私たちのコード実装はhttps://github.com/kicarussays/MedRep.comで公開されています。
関連論文リスト
- Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。
特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。
また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文 参考訳(メタデータ) (2024-04-27T05:03:42Z) - Multimodal Fusion of EHR in Structures and Semantics: Integrating Clinical Records and Notes with Hypergraph and LLM [39.25272553560425]
本稿では,EHRにおける構造と意味を効果的に統合するMINGLEという新しいフレームワークを提案する。
本フレームワークでは,医療概念のセマンティクスと臨床ノートのセマンティクスをハイパーグラフニューラルネットワークに組み合わせるために,2段階の注入戦略を採用している。
2つのEHRデータセット(パブリックMIMIC-IIIとプライベートCRADLE)の実験結果から、MINGLEは予測性能を11.83%向上できることが示された。
論文 参考訳(メタデータ) (2024-02-19T23:48:40Z) - Next Visit Diagnosis Prediction via Medical Code-Centric Multimodal Contrastive EHR Modelling with Hierarchical Regularisation [0.0]
NECHOは,階層的正規化を伴う新しい医用コード中心のマルチモーダル・コントラスト学習フレームワークである。
まず, 医用コード, 人口統計, 臨床ノートを含む多面的情報をネットワーク設計を用いて統合する。
また,EHRデータの階層構造を学習するために,医療オントロジーにおける親レベル情報を用いてモダリティ固有のエンコーダを正規化する。
論文 参考訳(メタデータ) (2024-01-22T01:58:32Z) - Multi-modal Graph Learning over UMLS Knowledge Graphs [1.6311327256285293]
医療概念の有意義な表現を学習するためのMMUGL(Multi-Modal UMLS Graph Learning)を提案する。
これらの表現は、患者の訪問全体を表すために集約され、シークエンスモデルに入力され、患者の複数の病院訪問の粒度で予測される。
論文 参考訳(メタデータ) (2023-07-10T10:16:57Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:02:36Z) - Federated Learning of Medical Concepts Embedding using BEHRT [0.0]
医療概念の埋め込み学習のための連合学習手法を提案する。
我々のアプローチは、EHRのディープニューラルネットワークモデルであるBEHRTのような埋め込みモデルに基づいている。
我々は、FLで訓練されたモデルと集中型データで訓練されたモデルのパフォーマンスを比較した。
論文 参考訳(メタデータ) (2023-05-22T14:05:39Z) - Multi-task Paired Masking with Alignment Modeling for Medical
Vision-Language Pre-training [55.56609500764344]
本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。
また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
論文 参考訳(メタデータ) (2023-05-13T13:53:48Z) - Unifying Heterogenous Electronic Health Records Systems via Text-Based
Code Embedding [7.3394352452936085]
本稿では,コードに依存しない記述に基づく表現学習フレームワークであるDescEmbを紹介した。
予測タスクや伝達学習,プール学習など,さまざまな実験において,モデルの性能を検証した。
論文 参考訳(メタデータ) (2021-08-08T12:47:42Z) - MIMO: Mutual Integration of Patient Journey and Medical Ontology for
Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文 参考訳(メタデータ) (2021-07-20T07:04:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。