論文の概要: SYNPRED: A Synergistic Approach to Multimodal Learning for Clinical Prediction
- arxiv url: http://arxiv.org/abs/2610.18110v1
- Date: Tue, 13 Oct 2026 10:24:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 07:20:47.238325
- Title: SYNPRED: A Synergistic Approach to Multimodal Learning for Clinical Prediction
- Title(参考訳): SynPRED: 臨床予測のためのマルチモーダル学習の相乗的アプローチ
- Abstract要約: 本稿では,タスク関連非モーダル情報とマルチモーダル情報とを分離する相乗的マルチモーダル変分オートエンコーダ(VAE)フレームワークを提案する。
医療画像とRNAデータを用いて治療応答予測タスクの評価を行った。
- 参考スコア(独自算出の注目度): 0.4645309483389654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal medical data captures complementary aspects of disease. It provides a comprehensive basis for diagnosis and the identification of biological associations linked to progression or treatment response. Established contrastive learning approaches exploit shared information across modalities, but fall short in exploiting complementary, modality-specific signals relevant for a task. Here, we propose a synergistic multimodal variational autoencoder (VAE) framework that separates task-relevant unimodal and multimodal information from instance-specific variation task-irrelevant, allowing complementary signals across modalities to be leveraged for prediction. The method yields benefits even if modalities are missing at test time. We evaluate the method on a treatment response prediction task using medical imaging and RNA data. Empirical comparison with alignment-based and multimodal VAE state-of-the-art approaches demonstrates improved multimodal prediction performance, and consistent benefits for prediction from a single modality after multimodal training. The full code can be found here: https://github.com/cirmuw/SYNPRED.
- Abstract(参考訳): マルチモーダル医療データは病気の相補的な側面を捉えている。
これは、進行または治療反応に関連する生物学的関連の診断と同定の包括的な基盤を提供する。
対照的な学習手法として確立された手法は、モダリティをまたいだ共有情報を利用するが、タスクに関連する相補的でモダリティ固有の信号を利用するには不十分である。
本稿では,タスク関連ユニモーダルとマルチモーダル情報をインスタンス固有のタスク関連情報から分離し,モーダル間の相補的な信号を予測に活用する,相乗的マルチモーダル変分オートエンコーダ(VAE)フレームワークを提案する。
この方法は、たとえテスト時にモダリティが欠落していても利益をもたらす。
医療画像とRNAデータを用いて治療応答予測タスクの評価を行った。
アライメントベースおよびマルチモーダルVAE状態との経験的比較により、マルチモーダル予測性能が改善され、マルチモーダルトレーニング後の単一モーダルからの予測に対する一貫した利点が示された。
コードの全文は、https://github.com/cirmuw/SYNPRED.comで見ることができる。
関連論文リスト
- SurvAgent: Hierarchical CoT-Enhanced Case Banking and Dichotomy-Based Multi-Agent System for Multimodal Survival Prediction [49.355973075150075]
マルチモーダルサバイバル予測のための最初の階層的チェーン・オブ・シント(CoT)強化マルチエージェントシステムであるSurvAgentを紹介する。
SurvAgentは2つの段階から構成される: WSI-Gene CoT-Enhanced Case Bank Constructionは、低磁化スクリーニング、クロスモーダル類似性-アウェアパッチマイニング、および病理画像に対する信頼-アウェアパッチマイニングを通じて階層解析を使用する。
二分法に基づくMulti-Expert Agent Inferenceは、RAGを介して類似の事例を検索し、段階的間隔改善による専門家予測とマルチモーダルレポートを統合する。
論文 参考訳(メタデータ) (2025-11-20T18:41:44Z) - impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。
マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。
本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
論文 参考訳(メタデータ) (2025-08-08T10:01:16Z) - GEMeX-RMCoT: An Enhanced Med-VQA Dataset for Region-Aware Multimodal Chain-of-Thought Reasoning [60.03671205298294]
医学的視覚的質問応答は、医学的イメージに基づいた自然言語的質問にモデルで答えることによって、臨床的な意思決定を支援することを目的としている。
現在の方法はまだ、答えの信頼性の制限と解釈性の低下に悩まされている。
この研究はまず、回答を生成するプロセスが中間的推論ステップのシーケンスに先行する領域対応マルチモーダル・チェーン・オブ・ソートデータセットを提案する。
論文 参考訳(メタデータ) (2025-06-22T08:09:58Z) - Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
論文 参考訳(メタデータ) (2025-01-30T06:49:57Z) - FlexCare: Leveraging Cross-Task Synergy for Flexible Multimodal Healthcare Prediction [34.732561455987145]
我々は、不完全なマルチモーダル入力に柔軟に対応するために、textbfFlexCareという統合医療予測モデルを提案する。
タスクに依存しないマルチモーダル情報抽出モジュールを提示し、多様なモダリティ内およびモダリティ間パターンの非相関表現をキャプチャする。
MIMIC-IV/MIMIC-CXR/MIMIC-NOTEデータセットによる複数のタスクの実験結果から,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2024-06-17T12:03:10Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳(メタデータ) (2023-12-29T14:28:04Z) - Multimodal Explainability via Latent Shift applied to COVID-19 stratification [0.7831774233149619]
本稿では,モダリティの再構築とサンプル分類を共同で学習するディープアーキテクチャを提案する。
AIforCOVIDデータセットを使用して、COVID-19パンデミックの文脈でのアプローチを検証する。
論文 参考訳(メタデータ) (2022-12-28T20:07:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。