論文の概要: Large Language Models are Powerful EHR Encoders

• arxiv url: http://arxiv.org/abs/2502.17403v1
• Date: Mon, 24 Feb 2025 18:30:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:12.527950
• Title: Large Language Models are Powerful EHR Encoders
• Title（参考訳）: 大規模言語モデルは強力なEHRエンコーダである
• Authors: Stefan Hegselmann, Georg von Arnim, Tillmann Rheude, Noel Kronenberg, David Sontag, Gerhard Hindricks, Roland Eils, Benjamin Wild,
• Abstract要約: ドメイン固有のEHR基盤モデルは予測精度と一般化の有望な改善を実証している。 汎用大規模言語モデル(LLM)に基づく埋め込み手法をEHRエンコーダとして用いる可能性について検討する。 GTE-Qwen2-7B-Instruct と LLM2Vec-Llama3.1-8B-Instruct の2つの最新式 LLM-embedding モデルの評価を行った。
• 参考スコア（独自算出の注目度）: 4.520903886487343
• License:
• Abstract: Electronic Health Records (EHRs) offer rich potential for clinical prediction, yet their inherent complexity and heterogeneity pose significant challenges for traditional machine learning approaches. Domain-specific EHR foundation models trained on large collections of unlabeled EHR data have demonstrated promising improvements in predictive accuracy and generalization; however, their training is constrained by limited access to diverse, high-quality datasets and inconsistencies in coding standards and healthcare practices. In this study, we explore the possibility of using general-purpose Large Language Models (LLMs) based embedding methods as EHR encoders. By serializing patient records into structured Markdown text, transforming codes into human-readable descriptors, we leverage the extensive generalization capabilities of LLMs pretrained on vast public corpora, thereby bypassing the need for proprietary medical datasets. We systematically evaluate two state-of-the-art LLM-embedding models, GTE-Qwen2-7B-Instruct and LLM2Vec-Llama3.1-8B-Instruct, across 15 diverse clinical prediction tasks from the EHRSHOT benchmark, comparing their performance to an EHRspecific foundation model, CLIMBR-T-Base, and traditional machine learning baselines. Our results demonstrate that LLM-based embeddings frequently match or exceed the performance of specialized models, even in few-shot settings, and that their effectiveness scales with the size of the underlying LLM and the available context window. Overall, our findings demonstrate that repurposing LLMs for EHR encoding offers a scalable and effective approach for clinical prediction, capable of overcoming the limitations of traditional EHR modeling and facilitating more interoperable and generalizable healthcare applications.
• Abstract（参考訳）: EHR(Electronic Health Records)は、臨床予測に豊富な可能性を提供するが、その固有の複雑さと不均一性は、従来の機械学習アプローチに重大な課題をもたらす。 未ラベルのEHRデータの大規模なコレクションに基づいてトレーニングされたドメイン固有のEHRファンデーションモデルは、予測精度と一般化の有望な改善を示しているが、そのトレーニングは、多様な高品質データセットへのアクセス制限とコーディング標準と医療プラクティスの不整合によって制限されている。 本研究では,汎用Large Language Models (LLM) を用いた埋め込み手法をEHRエンコーダとして用いる可能性を検討する。 患者記録を構造化マークダウンテキストにシリアライズし、コードを読みやすい記述子に変換することにより、大規模な公開コーパスで事前訓練されたLCMの広範な一般化能力を活用し、プロプライエタリな医療データセットの必要性を回避できる。 我々は、EHRSHOTベンチマークから15種類の臨床予測タスクに対して、GTE-Qwen2-7B-InstructとLLM2Vec-Llama3.1-8B-Instructの2つの最先端LLM埋め込みモデルを体系的に評価し、それらの性能をEHR特有の基礎モデル、CLIMBR-T-Base、従来の機械学習ベースラインと比較した。 この結果から,LLMをベースとした埋め込みは,数ショット設定であっても,特別なモデルの性能によく適合するか,あるいは超越しているかを示し,その有効性はLLMと利用可能なコンテキストウィンドウのサイズに比例することを示した。 以上の結果から,ERHエンコーディングのためのLLMの再利用は,従来のEMHモデリングの限界を克服し,より相互運用可能で汎用的な医療アプリケーションを容易にする,スケーラブルで効果的な臨床予測手法を提供することが示された。

関連論文リスト

• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• HC-LLM: Historical-Constrained Large Language Models for Radiology Report Generation [89.3260120072177]
  本稿では,放射線学レポート生成のための歴史制約付き大規模言語モデル (HC-LLM) フレームワークを提案する。 胸部X線写真から経時的特徴と経時的特徴を抽出し,疾患の進行を捉える診断報告を行った。 特に,本手法は,テスト中の履歴データなしでも良好に動作し,他のマルチモーダル大規模モデルにも容易に適用可能である。
  論文  参考訳（メタデータ） (2024-12-15T06:04:16Z)
• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• Is larger always better? Evaluating and prompting large language models for non-generative medical tasks [11.799956298563844]
  本研究は、GPTベースのLCM、BERTベースのモデル、従来の臨床予測モデルなど、さまざまなモデルをベンチマークする。 我々は,寛容と予測,疾患階層再構築,生物医学的文章マッチングといった課題に焦点をあてた。 その結果, LLMは, 適切に設計されたプロンプト戦略を用いて, 構造化EHRデータに対して頑健なゼロショット予測能力を示した。 構造化されていない医療用テキストでは、LLMは細調整されたBERTモデルよりも優れておらず、教師なしタスクと教師なしタスクの両方に優れていた。
  論文  参考訳（メタデータ） (2024-07-26T06:09:10Z)
• Developing Healthcare Language Model Embedding Spaces [0.20971479389679337]
  事前トレーニングされた大規模言語モデル(LLM)は、医療中心のテキストのようなドメイン外のデータセットに苦労することが多い。 従来のマスキング言語モデリング、Deep Contrastive Learning for Unsupervised Textual Representations(DeCLUTR)、およびヘルスケア設定からメタデータカテゴリを利用する新しい事前学習目標の3つの手法が評価されている。 対照的に訓練されたモデルは、分類タスクにおける他のアプローチよりも優れており、限られたラベル付きデータから強力なパフォーマンスを提供し、必要なモデルパラメータの更新を少なくする。
  論文  参考訳（メタデータ） (2024-03-28T19:31:32Z)
• REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models [19.62552013839689]
  既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。 本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。 MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-10T18:27:28Z)
• Prompting Large Language Models for Zero-Shot Clinical Prediction with Structured Longitudinal Electronic Health Record Data [7.815738943706123]
  大規模言語モデル(LLM)は、伝統的に自然言語処理に向いている。 本研究では, GPT-4 などの LLM の EHR データへの適応性について検討する。 EHRデータの長手性、スパース性、知識を注入した性質に対応するため、本研究は特定の特徴を考慮に入れている。
  論文  参考訳（メタデータ） (2024-01-25T20:14:50Z)
• Clinical Risk Prediction Using Language Models: Benefits And Considerations [23.781690889237794]
  本研究は,語彙内で構造化された記述を用いて,その情報に基づいて予測を行うことに焦点を当てた。 構造化された EHR を表すために LM を用いると、様々なリスク予測タスクにおいて、改善または少なくとも同等のパフォーマンスが得られます。
  論文  参考訳（メタデータ） (2023-11-29T04:32:19Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。