論文の概要: Multimodal Routing for Interpretable, Robust, and Auditable Clinical Prediction
- arxiv url: http://arxiv.org/abs/2607.09982v1
- Date: Fri, 10 Jul 2026 21:15:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.269521
- Title: Multimodal Routing for Interpretable, Robust, and Auditable Clinical Prediction
- Title（参考訳）: 解釈・ロバスト・可聴性臨床予測のためのマルチモーダルルーティング
- Abstract要約: 臨床予測のための明示的なマルチモーダル・ルーティング・フレームワークを提案する。
我々のモデルは、個別のモダリティ信号と非対称なクロスモーダル相互作用の両方を捉えるために、離散的な一様、方向性のバイモーダル、および三様経路を構成する。
我々はMIMIC-IVを用いた多ラベル表現型予測(K = 25)と2値ICU死亡率予測の枠組みについて検討した。
- 参考スコア（独自算出の注目度）: 4.160679255824342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electronic health record (EHR) data are inherently multimodal, and leveraging multiple modalities can improve predictive performance. However, most existing approaches rely on deep fusion, which obscures how individual modalities contribute to predictions and limits the interpretability of multimodal reasoning. We propose an explicit multimodal routing framework for clinical prediction that enables interpretable, robust, and auditable reasoning across three EHR modalities: structured longitudinal variables (L), clinical notes (N), and chest X-rays (I). Our model constructs discrete unimodal, directional bimodal, and trimodal routes to capture both individual modality signals and asymmetric cross-modal interactions. To audit multimodal reasoning and assess robustness, we introduce inference-time route masking, which simulates missing modalities and reweights the remaining routes without retraining. We analyze changes in performance and routing weights under these scenarios to understand model decision-making. We evaluate our framework on multi-label phenotype prediction (K = 25) and binary ICU mortality prediction using trimodal patient stays from MIMIC-IV, revealing systematic differences in modality reliance across clinical condition groups. Overall, our framework offers a transparent, auditable, and practical approach to multimodal clinical prediction, providing interpretability, robustness, and insights into how different data sources drive model decisions.
- Abstract（参考訳）: 電子健康記録(EHR)データは本質的にマルチモーダルであり、複数のモダリティを活用することで予測性能が向上する。
しかし、既存のほとんどのアプローチは深層融合に依存しており、これは個々のモダリティが予測にどのように貢献するかを曖昧にし、マルチモーダル推論の解釈可能性を制限する。
本稿では,3つのEHRモダリティ(構造化長手変数(L),臨床ノート(N),胸部X線(I))の解釈,頑健,聴覚的推論を可能にする,臨床予測のための明示的なマルチモーダルルーティングフレームワークを提案する。
我々のモデルは、個別のモダリティ信号と非対称なクロスモーダル相互作用の両方を捉えるために、離散的な一様、方向性のバイモーダル、および三様経路を構成する。
マルチモーダル推論を監査し,ロバスト性を評価するために,モーダルの欠如をシミュレートする推論時経路マスキングを導入し,リトレーニングを行わずに残りの経路を重み付けする。
これらのシナリオ下での性能変化とルーティングの重み付けを分析し、モデル決定を理解する。
我々はMIMIC-IVを用いた多ラベル表現型予測(K = 25)と2値ICU死亡率予測の枠組みについて検討し,臨床症状群間でのモダリティ依存性の系統的差異を明らかにした。
全体として、当社のフレームワークは、マルチモーダルな臨床予測に対する透明で監査可能な実践的なアプローチを提供し、異なるデータソースがモデル決定をどのように駆動するかに関する解釈可能性、堅牢性、洞察を提供する。
関連論文リスト
- DAIF: A Data-Driven Intermediate Fusion Framework for Multimodal Supervised Learning via Approximate Message Passing [11.222071637855079]
DAIFはデータから融合構造を直接学習するデータ適応型中間核融合フレームワークである。
我々はベイズ的マルチモーダル因子モデルの下で動作し、潜在因子の先行が相互モーダル依存を決定する。
提案手法は,モーダル依存性の推定値に基づいてモダリティをクラスタリングし,事前のクラスタワイズ実験ベイズ推定を行う。
論文 参考訳（メタデータ） (2026-08-03T18:10:58Z) - Traits Run Deeper: Trait-Specific Asymmetric Fusion for Personality Assessment [53.50824432699408]
Traits Run Deeperは、新しいパーソナリティアセスメントフレームワークである。
MFR(Multimodal Foundation Representation)、TSMF(Trit-Specific Modality Fusion)、DCPR(Distributed-Calibrated Personality Regression)の3つのコンポーネントで構成されている。
論文 参考訳（メタデータ） (2026-06-09T06:38:36Z) - MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。
本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。
本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
論文 参考訳（メタデータ） (2026-04-25T14:15:05Z) - DecepGPT: Schema-Driven Deception Detection with Multicultural Datasets and Robust Multimodal Learning [64.33887406863899]
マルチモーダル偽装検出は、法医学とセキュリティのための聴覚的手がかりを解析することにより、偽装行動を特定することを目的としている。
既存のベンチマークでは、中間的な推論手段を使わずにバイナリラベルのみを提供する。
構造的キューレベルの記述と推論チェーンを用いた推論データセットを構築した。
1695年のサンプルでは、非実験的偽装検出データセットとしては最大である。
論文 参考訳（メタデータ） (2026-03-25T04:06:36Z) - Post-TIPS Prediction via Multimodal Interaction: A Multi-Center Dataset and Framework for Survival, Complication, and Portal Pressure Assessment [23.819390753301136]
経肝門脈門脈内シャント(TIPS)は門脈圧亢進症に対して確立された治療法であるが,変動生存と頻発性肝脳症(OHE)を呈する。
最近の研究では、通常、術前のCT画像や臨床特性から機械学習モデルを構築する。
我々は、TIPSの予後に関する最初の公開マルチセンターデータセットであるMultiTIPSを提案し、それに基づく新しいマルチモーダル・予後フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-12T06:11:59Z) - RAD: Towards Trustworthy Retrieval-Augmented Multi-modal Clinical Diagnosis [56.373297358647655]
Retrieval-Augmented Diagnosis (RAD)は、下流タスクで直接マルチモーダルモデルに外部知識を注入する新しいフレームワークである。
RADは、複数の医療ソースからの疾患中心の知識の検索と改善、ガイドライン強化コントラスト損失トランスフォーマー、デュアルデコーダの3つの主要なメカニズムで機能する。
論文 参考訳（メタデータ） (2025-09-24T10:36:14Z) - A Comparative Study of Controllability, Explainability, and Performance in Dysfluency Detection Models [6.837099592935974]
我々は, YOLO-Stutter, FluentNet, UDM, SSDMの4つの非定常モデリング手法を比較した。
YOLO-StutterとFluentNetは効率とシンプルさを提供するが、透明性は限られている。
UDMは、精度と臨床的解釈可能性の最良のバランスを達成する。
論文 参考訳（メタデータ） (2025-08-25T14:23:09Z) - Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
論文 参考訳（メタデータ） (2025-01-30T06:49:57Z) - Multimodal Clinical Trial Outcome Prediction with Large Language Models [28.95412904299012]
臨床試験の結果を予測するために, LIFTED(Multimodal Mixed-of-Experts)アプローチを提案する。
LIFTEDは、異なるモダリティデータを自然言語記述に変換することで統一する。
そして、LIFTEDは統合ノイズ耐性エンコーダを構築し、モーダル固有の言語記述から情報を抽出する。
論文 参考訳（メタデータ） (2024-02-09T16:18:38Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳（メタデータ） (2023-12-29T14:28:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。