論文の概要: Representation Learning of Structured Data for Medical Foundation Models
- arxiv url: http://arxiv.org/abs/2410.13351v1
- Date: Thu, 17 Oct 2024 09:02:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:22:37.856611
- Title: Representation Learning of Structured Data for Medical Foundation Models
- Title（参考訳）: 医療基盤モデルのための構造化データの表現学習
- Authors: Vijay Prakash Dwivedi, Viktor Schlegel, Andy T. Liu, Thanh-Tung Nguyen, Abhinav Ramesh Kashyap, Jeng Wei, Wei-Hsian Yin, Stefan Winkler, Robby T. Tan,
- Abstract要約: 我々はUniStructアーキテクチャを導入し、構造化されていないテキストと構造化データのマルチモーダル医療基盤モデルを設計する。
本手法は,広範囲な内部医療データベースと構造化医療記録の公開リポジトリのモデル事前学習を通じて検証される。
- 参考スコア（独自算出の注目度）: 29.10129199884847
- License:
- Abstract: Large Language Models (LLMs) have demonstrated remarkable performance across various domains, including healthcare. However, their ability to effectively represent structured non-textual data, such as the alphanumeric medical codes used in records like ICD-10 or SNOMED-CT, is limited and has been particularly exposed in recent research. This paper examines the challenges LLMs face in processing medical codes due to the shortcomings of current tokenization methods. As a result, we introduce the UniStruct architecture to design a multimodal medical foundation model of unstructured text and structured data, which addresses these challenges by adapting subword tokenization techniques specifically for the structured medical codes. Our approach is validated through model pre-training on both an extensive internal medical database and a public repository of structured medical records. Trained on over 1 billion tokens on the internal medical database, the proposed model achieves up to a 23% improvement in evaluation metrics, with around 2% gain attributed to our proposed tokenization. Additionally, when evaluated on the EHRSHOT public benchmark with a 1/1000 fraction of the pre-training data, the UniStruct model improves performance on over 42% of the downstream tasks. Our approach not only enhances the representation and generalization capabilities of patient-centric models but also bridges a critical gap in representation learning models' ability to handle complex structured medical data, alongside unstructured text.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、医療を含む様々な領域で顕著なパフォーマンスを示している。
しかし、ICD-10やSNOMED-CTのようなレコードで使われるアルファ数字の医療コードのような構造化された非テクスチャデータを効果的に表現する能力は限られており、最近の研究で特に明らかにされている。
本稿では,現在のトークン化手法の欠点から,LLMが医療コード処理において直面する課題について考察する。
その結果、UniStructアーキテクチャを導入し、構造化されていないテキストと構造化されたデータのマルチモーダル医療基盤モデルを設計し、構造化された医療コードに特化してサブワードトークン化技術を適用することでこれらの課題に対処する。
本手法は,広範囲な内部医療データベースと構造化医療記録の公開リポジトリのモデル事前学習を通じて検証される。
内部医療データベース上で10億以上のトークンをトレーニングした結果,提案モデルでは評価指標が最大23%向上し,約2%の利得が得られた。
さらに、トレーニング済みデータの1/1000パーセンテージでEHRSHOT公開ベンチマークで評価すると、UniStructモデルは、下流タスクの42%以上でパフォーマンスが改善される。
我々のアプローチは患者中心型モデルの表現と一般化能力を高めるだけでなく、非構造化テキストとともに複雑な構造化された医療データを扱うための表現学習モデルの能力に重要なギャップを埋める。
関連論文リスト
- Is larger always better? Evaluating and prompting large language models for non-generative medical tasks [11.799956298563844]
本研究は、GPTベースのLCM、BERTベースのモデル、従来の臨床予測モデルなど、さまざまなモデルをベンチマークする。
我々は,寛容と予測,疾患階層再構築,生物医学的文章マッチングといった課題に焦点をあてた。
その結果, LLMは, 適切に設計されたプロンプト戦略を用いて, 構造化EHRデータに対して頑健なゼロショット予測能力を示した。
構造化されていない医療用テキストでは、LLMは細調整されたBERTモデルよりも優れておらず、教師なしタスクと教師なしタスクの両方に優れていた。
論文 参考訳（メタデータ） (2024-07-26T06:09:10Z) - Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。
特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。
また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文 参考訳（メタデータ） (2024-04-27T05:03:42Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-08T09:12:28Z) - PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。
LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。
PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文 参考訳（メタデータ） (2023-04-27T18:29:05Z) - The Shaky Foundations of Clinical Foundation Models: A Survey of Large
Language Models and Foundation Models for EMRs [5.7482228499062975]
非イメージングEMRデータに基づいて訓練された80以上の基礎モデルをレビューする。
ほとんどのモデルが、小さく、狭められた臨床データセットでトレーニングされていることが分かりました。
臨床基礎モデルの利点を評価するための評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-22T23:54:14Z) - Two heads are better than one: Enhancing medical representations by
pre-training over structured and unstructured electronic health records [23.379185792773875]
マルチモーダル EHR から代表的特徴を自動学習するために,UMM-PLM という,深層学習に基づく医用事前訓練言語モデルを提案する。
まず,各データソースから一助表現を別々に学習する一助情報表現モジュールを開発した。
異なるモジュラリティ間の相互作用をモデル化するために、クロスモーダルモジュールが導入された。
論文 参考訳（メタデータ） (2022-01-25T06:14:49Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳（メタデータ） (2021-08-02T10:42:52Z) - Estimating Redundancy in Clinical Text [6.245180523143739]
臨床医は、既存のメモを複製し、それに従って更新することで、新しい文書をポップアップさせる。
情報冗長性の定量化は、臨床物語を扱う革新を評価する上で重要な役割を果たす。
冗長性を測定するための2つの戦略として,情報理論アプローチと語彙論的・意味論的モデルを提示し,評価する。
論文 参考訳（メタデータ） (2021-05-25T11:01:45Z) - A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。
これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。
提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
論文 参考訳（メタデータ） (2021-02-26T17:49:58Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳（メタデータ） (2020-07-15T09:22:55Z) - Med7: a transferable clinical natural language processing model for
electronic health records [6.935142529928062]
本稿では,臨床自然言語処理のための匿名認識モデルを提案する。
このモデルは、薬物名、ルート、頻度、摂取量、強度、形態、期間の7つのカテゴリを認識するよう訓練されている。
本研究は、米国における集中治療室のデータから、英国における二次医療精神保健記録(CRIS)へのモデル導入可能性を評価するものである。
論文 参考訳（メタデータ） (2020-03-03T00:55:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。