論文の概要: ProbMed: A Probabilistic Framework for Medical Multimodal Binding

• arxiv url: http://arxiv.org/abs/2509.25711v1
• Date: Tue, 30 Sep 2025 03:16:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:44:59.997785
• Title: ProbMed: A Probabilistic Framework for Medical Multimodal Binding
• Title（参考訳）: ProbMed: 医療用マルチモーダルバインディングのための確率的フレームワーク
• Authors: Yuan Gao, Sangwook Kim, Jianzhong You, Chris McIntosh,
• Abstract要約: 確率的モダリティ向上診断(ProbMED)について紹介する。 ProbMEDは、X線、心電図、心エコー計の4つの異なるモードを、統一された確率的埋め込み空間に整列させる。 本モデルでは, クロスモーダル検索, ゼロショット分類, 少数ショット分類において, 現在の医用視覚言語事前訓練モデルより優れている。
• 参考スコア（独自算出の注目度）: 21.27709522688514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical decision-making requires integrating diverse medical information, from imaging to clinical narratives. These medical modalities are often acquired in a many-to-many manner. However, current medical vision-language pretraining models (Med-VLPMs) fail to directly account for this many-to-many mapping in their model training and embeddings. To address this, we present Probabilistic Modality-Enhanced Diagnosis (ProbMED), a multimodal Med-VLPM that employs probabilistic contrastive learning to model distributions over embeddings rather than deterministic estimates. ProbMED aligns four distinct modalities--chest X-rays, electrocardiograms, echocardiograms, and clinical text--into a unified probabilistic embedding space. We use InfoNCE loss with Hellinger distance to integrate inter-modality distributions. We introduce a probabilistic synthetic sampling loss that captures modality-specific mean and variance to improve intra-modality binding. Extensive experiments across 13 medical datasets demonstrate that our model outperforms current Med-VLPMs in cross-modality retrieval, zero-shot, and few-shot classification. We also demonstrate the robust integration of multiple modalities for prognostication, showing improved intra- and inter-medical modality binding.
• Abstract（参考訳）: 医学的意思決定には、画像から臨床物語まで様々な医療情報を統合する必要がある。 これらの医学的モダリティは、しばしば多対多の方法で取得される。 しかしながら、現在の医療ビジョン言語事前学習モデル(Med-VLPMs)は、モデルトレーニングと埋め込みにおいて、この多対多マッピングを直接考慮しない。 そこで本研究では,確率論的コントラスト学習を用いたマルチモーダルMed-VLPM(ProbMED)を提案する。 ProbMEDは、X線、心電図、心エコー図、臨床テキストの4つの異なるモードを、統一された確率的埋め込み空間に整列させる。 We use InfoNCE loss with Hellinger distance to integrated inter-modality distributions。 そこで本研究では,モダリティ特異的な平均値と分散を捕捉し,モダリティ内結合を改善する確率論的合成サンプリング損失を提案する。 13の医療データセットにわたる大規模な実験により、我々のモデルは、クロスモダリティ検索、ゼロショット分類、少数ショット分類において、現在のMed-VLPMよりも優れていることが示された。 また,複数のモダリティの堅牢な統合を証明し,医療内および医療間モダリティ結合の改善を示した。

関連論文リスト

• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• CLIMD: A Curriculum Learning Framework for Imbalanced Multimodal Diagnosis [21.001994821490644]
  不均衡型マルチモーダル診断(CLIMD)のためのカリキュラム学習フレームワークを提案する。 具体的には、まず、モーダル内信頼度とモーダル間相補性を組み合わせたマルチモーダルカリキュラム尺度を設計し、モデルがキーサンプルに集中できるようにする。 プラグイン・アンド・プレイのCLフレームワークとして、CLIMDは他のモデルに容易に統合することができ、マルチモーダル病の診断精度を向上させるための有望な経路を提供する。
  論文  参考訳（メタデータ） (2025-08-03T05:25:12Z)
• Analysis of Image-and-Text Uncertainty Propagation in Multimodal Large Language Models with Cardiac MR-Based Applications [10.096013178241117]
  MLLM(Multimodal large language model)は、テキストや画像などのマルチモーダルソースからの情報を処理する。 個々のユニモーダルデータと潜在的な臨床応用による不確実性は、まだ完全には理解されていない。 本研究では,不確実性伝播に基づくマルチモーダル不確実性伝播モデル(MUPM)を提案する。
  論文  参考訳（メタデータ） (2025-07-17T09:34:21Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• Cross-modality Attention-based Multimodal Fusion for Non-small Cell Lung Cancer (NSCLC) Patient Survival Prediction [0.6476298550949928]
  非小細胞肺癌(NSCLC)における患者生存予測のためのモダリティ特異的知識の統合を目的としたマルチモーダル核融合パイプラインを提案する。 組織画像データとRNA-seqデータのみを用いてc-index0.5772と0.5885を達成した単一モダリティと比較して, 提案した融合法はc-index0.6587を達成した。
  論文  参考訳（メタデータ） (2023-08-18T21:42:52Z)
• Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
  我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。 提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。 その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-10T17:58:22Z)
• MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
  肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。 本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。 テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
  論文  参考訳（メタデータ） (2022-02-09T04:12:30Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。