論文の概要: PiCME: Pipeline for Contrastive Modality Evaluation and Encoding in the MIMIC Dataset

• arxiv url: http://arxiv.org/abs/2507.03165v1
• Date: Thu, 03 Jul 2025 20:45:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.603584
• Title: PiCME: Pipeline for Contrastive Modality Evaluation and Encoding in the MIMIC Dataset
• Title（参考訳）: PiCME:MIMICデータセットにおけるコントラストモダリティ評価と符号化のためのパイプライン
• Authors: Michal Golovanevsky, Pranav Mahableshwarkar, Carsten Eickhoff, Ritambhara Singh,
• Abstract要約: マルチモーダル深層学習は、多様な患者データを統合することで臨床予測を改善することを約束する。 対照的な学習は、タスク間で再利用可能な統一表現を生成することによって、この統合を促進する。 PiCMEはMIMICのすべてのモダリティの組み合わせでコントラスト学習をスケールした最初の企業である。
• 参考スコア（独自算出の注目度）: 16.263862005367667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal deep learning holds promise for improving clinical prediction by integrating diverse patient data, including text, imaging, time-series, and structured demographics. Contrastive learning facilitates this integration by producing a unified representation that can be reused across tasks, reducing the need for separate models or encoders. Although contrastive learning has seen success in vision-language domains, its use in clinical settings remains largely limited to image and text pairs. We propose the Pipeline for Contrastive Modality Evaluation and Encoding (PiCME), which systematically assesses five clinical data types from MIMIC: discharge summaries, radiology reports, chest X-rays, demographics, and time-series. We pre-train contrastive models on all 26 combinations of two to five modalities and evaluate their utility on in-hospital mortality and phenotype prediction. To address performance plateaus with more modalities, we introduce a Modality-Gated LSTM that weights each modality according to its contrastively learned importance. Our results show that contrastive models remain competitive with supervised baselines, particularly in three-modality settings. Performance declines beyond three modalities, which supervised models fail to recover. The Modality-Gated LSTM mitigates this drop, improving AUROC from 73.19% to 76.93% and AUPRC from 51.27% to 62.26% in the five-modality setting. We also compare contrastively learned modality importance scores with attribution scores and evaluate generalization across demographic subgroups, highlighting strengths in interpretability and fairness. PiCME is the first to scale contrastive learning across all modality combinations in MIMIC, offering guidance for modality selection, training strategies, and equitable clinical prediction.
• Abstract（参考訳）: マルチモーダルディープラーニングは、テキスト、画像、時系列、構造化された人口統計を含む多様な患者データを統合することで、臨床予測を改善することを約束する。 対照的な学習は、タスク間で再利用可能な統一表現を生成し、別のモデルやエンコーダの必要性を減らすことによって、この統合を促進する。 対照的な学習は視覚言語領域で成功しているが、臨床環境での使用は画像とテキストのペアに限られている。 The Pipeline for Contrastive Modality Evaluation and Encoding (PiCME) is proposed the Pipeline for Contrastive Modality Evaluation and Encoding (PiCME)。 本研究は,2～5つのモードの26種類の組み合わせのコントラストモデルを事前訓練し,院内死亡率と表現型予測におけるそれらの有用性を評価した。 よりモダリティの高い性能プラトーに対処するため, 対照的に学習された重要度に応じて各モダリティを重み付けするModality-Gated LSTMを提案する。 この結果から,コントラストモデルが教師付きベースライン,特に3つのモダリティ設定において競争力を維持することが示唆された。 性能は3つのモダリティを超えて低下し、モデルが回復しなかった。 Modality-Gated LSTMはこの減少を緩和し、AUROCは73.19%から76.93%に、AUPRCは5つのモード設定で51.27%から62.26%に改善した。 また,学習したモダリティの重要度スコアを属性スコアと比較し,人口集団間での一般化を評価し,解釈可能性と公正性の強さを強調した。 PiCMEは、MIMICにおけるすべてのモダリティの組み合わせに対してコントラスト学習を初めて拡張し、モダリティ選択、トレーニング戦略、公平な臨床予測のためのガイダンスを提供する。

関連論文リスト

• Leveraging large language models and traditional machine learning ensembles for ADHD detection from narrative transcripts [6.55440666066668]
  本稿では,物語の書き起こしを用いたADHD診断(バイナリ)の自動分類のためのアンサンブルフレームワークを提案する。 LLaMA3、RoBERTa、SVM(Support Vector Machine)の3つの補完モデルを統合する。 実験の結果、アンサンブルは個々のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-27T15:22:01Z)
• Comparing representations of long clinical texts for the task of patient note-identification [4.552065156611815]
  患者ノートの識別には、匿名化された臨床ノートを対応する患者と正確に一致させ、関連するノートのセットで表現する。 BERTモデルを含む様々な埋め込み手法を探索し,中長期臨床テキストを効果的に処理する。 以上の結果から,BERTをベースとした埋め込みは従来型および階層型モデル,特に長期臨床ノートの処理において優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-03-31T12:31:44Z)
• EMERGE: Enhancing Multimodal Electronic Health Records Predictive Modeling with Retrieval-Augmented Generation [22.94521527609479]
  EMERGEはRetrieval-Augmented Generation(RAG)駆動のフレームワークであり、マルチモーダルEHR予測モデリングを強化する。 時系列データと臨床ノートからエンティティを抽出し,LLM(Large Language Models)を誘導し,プロのPrimeKGと整合させる。 抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。
  論文  参考訳（メタデータ） (2024-05-27T10:53:15Z)
• Rethinking model prototyping through the MedMNIST+ dataset collection [0.11999555634662634]
  この作業では、MedMNIST+データセットコレクションの包括的なベンチマークを導入する。 我々は、一般的なCNN(Convolutional Neural Networks)とViT(Vision Transformer)アーキテクチャを、異なる医療データセットにわたって再評価する。 この結果から,計算効率のよいトレーニングスキームと最新の基礎モデルが,エンドツーエンドのトレーニングに有効な代替手段を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-04-24T10:19:25Z)
• DrFuse: Learning Disentangled Representation for Clinical Multi-Modal Fusion with Missing Modality and Modal Inconsistency [18.291267748113142]
  そこで本研究では,DrFuseを効果的に多モード核融合を実現するために提案する。 モダリティに共通する特徴と各モダリティに特有の特徴を分離することで、モダリティの欠如に対処する。 実世界の大規模データセットMIMIC-IVとMIMIC-CXRを用いて提案手法を検証する。
  論文  参考訳（メタデータ） (2024-03-10T12:41:34Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective [51.70661197256033]
  医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。 まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。 5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
  論文  参考訳（メタデータ） (2023-02-03T13:50:25Z)
• MIMO: Mutual Integration of Patient Journey and Medical Ontology for Healthcare Representation Learning [49.57261599776167]
  本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
  論文  参考訳（メタデータ） (2021-07-20T07:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。