論文の概要: Multimodal Medical Code Tokenizer

• arxiv url: http://arxiv.org/abs/2502.04397v1
• Date: Thu, 06 Feb 2025 06:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:59:00.052382
• Title: Multimodal Medical Code Tokenizer
• Title（参考訳）: マルチモーダル・メディカルコード・トケナイザ
• Authors: Xiaorui Su, Shvat Messica, Yepeng Huang, Ruth Johnson, Lukas Fesser, Shanghua Gao, Faryad Sahneh, Marinka Zitnik,
• Abstract要約: 既存のトークン化器は、EHRからの医療コードを独立したテキストトークンとして扱う。 医療用語には60,000以上のコードが含まれており、臨床推論に重要な情報を持っている。 我々はMedTokを紹介した。MedTokはマルチモーダルな医療用コードトークンで、コードのテキスト記述とリレーショナルコンテキストを利用する。
• 参考スコア（独自算出の注目度）: 15.816571598837823
• License:
• Abstract: Foundation models trained on patient electronic health records (EHRs) require tokenizing medical data into sequences of discrete vocabulary items. Existing tokenizers treat medical codes from EHRs as isolated textual tokens. However, each medical code is defined by its textual description, its position in ontological hierarchies, and its relationships to other codes, such as disease co-occurrences and drug-treatment associations. Medical vocabularies contain more than 600,000 codes with critical information for clinical reasoning. We introduce MedTok, a multimodal medical code tokenizer that uses the text descriptions and relational context of codes. MedTok processes text using a language model encoder and encodes the relational structure with a graph encoder. It then quantizes both modalities into a unified token space, preserving modality-specific and cross-modality information. We integrate MedTok into five EHR models and evaluate it on operational and clinical tasks across in-patient and out-patient datasets, including outcome prediction, diagnosis classification, drug recommendation, and risk stratification. Swapping standard EHR tokenizers with MedTok improves AUPRC across all EHR models, by 4.10% on MIMIC-III, 4.78% on MIMIC-IV, and 11.30% on EHRShot, with the largest gains in drug recommendation. Beyond EHR modeling, we demonstrate using MedTok tokenizer with medical QA systems. Our results demonstrate the potential of MedTok as a unified tokenizer for medical codes, improving tokenization for medical foundation models.
• Abstract（参考訳）: 患者電子健康記録(EHR)に基づいてトレーニングされた基礎モデルは、医療データを個別の語彙項目のシーケンスにトークン化する必要がある。 既存のトークン化器は、EHRからの医療コードを独立したテキストトークンとして扱う。 しかし、それぞれの医療法典は、そのテキスト記述、オントロジ的階層における位置、および疾患の共起や薬物治療協会などの他の法典との関係によって定義される。 医療用語には60,000以上のコードが含まれており、臨床推論に重要な情報を持っている。 我々はMedTokを紹介した。MedTokはマルチモーダルな医療用コードトークンで、コードのテキスト記述とリレーショナルコンテキストを利用する。 MedTokは言語モデルエンコーダを使用してテキストを処理し、グラフエンコーダでリレーショナル構造をエンコードする。 その後、モダリティを統一トークン空間に量子化し、モダリティ固有情報とクロスモダリティ情報を保存する。 我々は、MedTokを5つのEMHモデルに統合し、結果予測、診断分類、薬物推奨、リスク階層化を含む、患者内および外来のデータセットの運用および臨床タスクで評価する。 MedTok による標準的な EHR トークン化器は、MIMIC-III では4.10%、MIMIC-IV では4.78%、EHRShot では11.30% で、全ての EHR モデルで AUPRC を改良している。 EHRモデリング以外にも、医療用QAシステムでMedTokトークン化器を実演する。 本研究は,MedTokが医法コードの統一トークン化ツールとしての可能性を示し,医療基盤モデルのトークン化を改善したものである。

関連論文リスト

• Natural Language-Assisted Multi-modal Medication Recommendation [97.07805345563348]
  NLA-MMR(Natural Language-Assisted Multi-modal Medication Recommendation)を紹介する。 NLA-MMRは、患者視点から知識を学習し、医薬視点を共同で学習するために設計されたマルチモーダルアライメントフレームワークである。 本稿では,プレトレーニング言語モデル(PLM)を用いて,患者や医薬品に関するドメイン内知識を抽出する。
  論文  参考訳（メタデータ） (2025-01-13T09:51:50Z)
• MedCodER: A Generative AI Assistant for Medical Coding [3.7153274758003967]
  我々は、自動医療コーディングのためのジェネレーティブAIフレームワークであるMedCodERを紹介する。 MedCodERは、ICD(International Classification of Diseases)コード予測において、マイクロF1スコアの0.60を達成している。 疾患診断,ICD符号,エビデンステキストを付加した医療記録を含む新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-18T19:36:33Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Read, Attend, and Code: Pushing the Limits of Medical Codes Prediction from Clinical Notes by Machines [0.42641920138420947]
  医用コード代入マッピングを学習するための、読み取り、 attend、および Code (RAC) モデルを提示する。 RACは、現在最高のマクロF1を18.7%上回るSOTA(the New State of the Art)を確立している。 この新たなマイルストーンは、マシンにおける完全自律型医療コーディング(AMC)への重要な一歩となる。
  論文  参考訳（メタデータ） (2021-07-10T06:01:58Z)
• Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study [2.871614744079523]
  事前訓練されたモデルが、さらなるアーキテクチャエンジニアリングなしで医療コード予測に有用かどうかは明らかではない。 本稿では,単語間のインタラクションをキャプチャし,ラベル情報を活用する階層的な微調整アーキテクチャを提案する。 現在の傾向とは対照的に、我々は慎重に訓練された古典的なCNNは、頻繁なコードでMIMIC-IIIサブセット上の注意ベースのモデルを上回ることを実証します。
  論文  参考訳（メタデータ） (2021-03-11T07:23:45Z)
• A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
  国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。 これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。 提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
  論文  参考訳（メタデータ） (2021-02-26T17:49:58Z)
• An Explainable CNN Approach for Medical Codes Prediction from Clinical Text [1.7746314978241657]
  我々は集中治療室(ICU)における臨床テキストに基づくCNNベースの自動ICD符号化法を開発した。 私たちは、私たちのモデルが各ラベルの局所的および低レベルの機能を学ぶことを可能にするShallow and Wide Attention Convolutional Mechanism(SWAM)を思いつきました。
  論文  参考訳（メタデータ） (2021-01-14T02:05:34Z)
• Medical Code Assignment with Gated Convolution and Note-Code Interaction [39.079615516043674]
  本稿では,医療コードの自動割り当てのための新しい手法,ゲート畳み込みニューラルネットワーク,ノートコードインタラクション(GatedCNN-NCI)を提案する。 新たなノート-コードインタラクション設計とグラフメッセージパッシング機構により、ノートとコード間の基盤となる依存関係を明示的にキャプチャする。 提案モデルはほとんどの場合,最先端モデルよりも優れており,モデルサイズは軽量ベースラインと同程度である。
  論文  参考訳（メタデータ） (2020-10-14T11:37:24Z)
• BiteNet: Bidirectional Temporal Encoder Network to Predict Medical Outcomes [53.163089893876645]
  本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。 エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。 実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
  論文  参考訳（メタデータ） (2020-09-24T00:42:36Z)
• DeepEnroll: Patient-Trial Matching with Deep Embedding and Entailment Prediction [67.91606509226132]
  臨床試験は医薬品開発に不可欠であるが、高価で不正確で不十分な患者募集に苦しむことが多い。 DeepEnrollは、入力基準(タブラリデータ)を一致する推論のための共有潜在空間に共同でエンコードする、クロスモーダル推論学習モデルである。
  論文  参考訳（メタデータ） (2020-01-22T17:51:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。