論文の概要: Context-driven Missing-Modality Learning for Robust Medical Diagnosis with Image-Tabular Data
- arxiv url: http://arxiv.org/abs/2605.25968v1
- Date: Mon, 25 May 2026 15:44:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:20.444321
- Title: Context-driven Missing-Modality Learning for Robust Medical Diagnosis with Image-Tabular Data
- Title（参考訳）: 画像タブラルデータを用いたロバスト医療診断のためのコンテキスト駆動型ミスモード学習
- Authors: Tianling Liu, Lequan Yu, Tong Han, Liang Wan,
- Abstract要約: 本稿では,コンテキスト駆動型ミス・モダリティ学習フレームワークを提案する。
連続的にモダリティ合成とセマンティックアライメントを行い、堅牢な診断を実現する。
最先端のSOTA(State-of-the-art)法では、それぞれ1.26%、0.97%、1.32%のAVG AUCの改善を実現している。
- 参考スコア（独自算出の注目度）: 38.54068135443487
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While multimodal data integrating diverse imaging and clinical tabular records is crucial for accurate medical diagnosis, the arbitrary absence of specific modalities is prevalent in clinical practice, severely degrading the performance of multimodal models. Existing methods either discard missing modalities, leading to information loss, or struggle to synthesize them without capturing complex inter-modal dependencies. To address these limitations, we propose a novel Context-driven Missing-Modality Learning (CMML) framework, which sequentially performs modality synthesis and semantic alignment to achieve robust diagnosis under arbitrary missing conditions. Specifically, we design a Cascade Residual Transformer-based Autoencoder (CRTA) that leverages learnable context tokens acting as dataset-level semantic prior to capture inter-modal dependencies and synthesize key missing representations. These representations are further enriched by modality-specific memory banks. To resolve the discrepancy between original available and synthesized representations, we transform the learned context tokens into instance-adaptive semantic references by infusing multimodal representations from the CRTA's outputs. This reference guides the alignment of heterogeneous modality representations into a unified space, where class-aware contrastive refinement is finally applied to explore discriminative diagnostic cues. Extensive evaluations on skin lesion (Derm7pt), ocular disease (ODIR), and meningioma (MEN) datasets demonstrate that CMML significantly outperforms state-of-the-art (SOTA) methods, yielding AVG AUC improvements of 1.26%, 0.97%, and 1.32%, respectively.
- Abstract（参考訳）: 多様な画像と臨床表状記録を統合したマルチモーダルデータは正確な診断には不可欠であるが, 特定のモダリティの任意の欠如は臨床実践において顕著であり, マルチモーダルモデルの性能は著しく低下する。
既存の方法は、欠落したモダリティを破棄し、情報を失うか、複雑なモダリティ間の依存関係をキャプチャせずにそれらを合成するのに苦労する。
これらの制約に対処するために、任意の欠損条件下で頑健な診断を実現するために、連続的にモダリティ合成とセマンティックアライメントを行う、コンテキスト駆動型ミス・モダリティ学習(CMML)フレームワークを提案する。
具体的には、モーダル間の依存関係をキャプチャし、キー不足表現を合成する前に、データセットレベルのセマンティクスとして機能する学習可能なコンテキストトークンを活用するカスケード残差トランスフォーマーベースのオートエンコーダ(CRTA)を設計する。
これらの表現は、モダリティ固有のメモリバンクによってさらに豊かになる。
元の利用可能な表現と合成された表現の相違を解決するために、CRTAの出力からマルチモーダル表現を注入することにより、学習したコンテキストトークンをインスタンス適応的なセマンティック参照に変換する。
この参照は、不均一なモダリティ表現を統一された空間にアライメントし、そこでクラス認識のコントラスト改善が最終的に適用され、識別的診断の手がかりを探索する。
皮膚病変(Derm7pt)、眼疾患(ODIR)、髄膜腫(MEN)データセットの広範囲な評価は、CMMLが最先端(SOTA)法を著しく上回り、AVG AUCは1.26%、0.97%、および1.32%の改善を示した。
関連論文リスト
- Vision-Core Guided Contrastive Learning for Balanced Multi-modal Prognosis Prediction of Stroke [4.272151451487239]
本稿では,虚血性脳梗塞に対する新しい3モーダル融合モデルを提案する。
脳MRIから半構造化診断テキストを自動的に生成するために,Large Language Model (LLM) を用いる。
また、ビジョンコンディションドデュアルアライメント・フュージョンモジュールと呼ばれるコアコンポーネントを設計する。
論文 参考訳（メタデータ） (2026-05-14T11:28:57Z) - Resilient Vision-Tabular Multimodal Learning under Modality Missingness [1.696842238811138]
マルチモーダルディープラーニングは医療応用において大きな可能性を秘めている。
既存のアプローチの多くは、完全にモダリティの可用性を暗黙的に仮定している。
共同視覚・タブラリ学習のためのマルチモーダルトランスフォーマーフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-12T12:14:13Z) - Multi-View Synergistic Learning with Vision-Language Adaption for Low-Resource Biomedical Image Classification [59.24009931000134]
MVSL(Multi-View Synergistic Learning)は、適応パラダイム、表現の粒度、疾患の意味的関係に対処する統合フレームワークである。
MVSLは、視覚的およびテキスト的エンコーダの適応を分離し、それぞれの表現特性を尊重する。
さらに、グローバルなイメージセマンティクスと局所的な病変レベルの証拠の両方を明示的にモデル化するために、多粒性コントラスト学習を導入する。
MVSLは、いくつかのショットとゼロショットの分類設定において、最先端のメソッドを一貫して上回る。
論文 参考訳（メタデータ） (2026-04-27T02:41:27Z) - MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。
本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。
本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
論文 参考訳（メタデータ） (2026-04-25T14:15:05Z) - CFCML: A Coarse-to-Fine Crossmodal Learning Framework For Disease Diagnosis Using Multimodal Images and Tabular Data [54.816000602323726]
臨床診断にはクロスモーダル情報が必要である。
既存のクロスモーダル学習手法の多くは、主にハイレベルエンコーダ出力間の関係を探究することに焦点を当てている。
そこで本研究では,モダリティギャップを段階的に減少させるために,CFCML(coarse-to-fine crossmodal learning)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-20T15:01:33Z) - A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis [82.01597026329158]
本稿では,組織合成のための相関調整フレームワーク(CRAFTS)について紹介する。
CRAFTSは、生物学的精度を確保するためにセマンティックドリフトを抑制する新しいアライメント機構を組み込んでいる。
本モデルは,30種類の癌にまたがる多彩な病理像を生成する。
論文 参考訳（メタデータ） (2025-12-15T10:22:43Z) - DiA-gnostic VLVAE: Disentangled Alignment-Constrained Vision Language Variational AutoEncoder for Robust Radiology Reporting with Missing Modalities [3.5045368873011924]
本稿では,Dentangled Alignment を用いた頑健な放射線診断を行う DiA-gnostic VLVAE を提案する。
我々のフレームワークは、共有機能とモダリティ固有の機能を混在させることにより、モダリティの欠如に耐性を持つように設計されている。
コンパクトなLLaMA-Xデコーダは、これらの不整合表現を使用してレポートを効率的に生成する。
論文 参考訳（メタデータ） (2025-11-08T11:08:27Z) - Robust Incomplete-Modality Alignment for Ophthalmic Disease Grading and Diagnosis via Labeled Optimal Transport [28.96009174108652]
眼底画像と光コヒーレンス断層撮影(OCT)を併用したマルチモーダル眼底画像診断を行った。
既存の一般的なパイプライン、例えばモダリティ計算や蒸留法は、顕著な制限に直面している。
本稿では,眼科診断の課題において欠落したモダリティを頑健に扱える新しい多モードアライメントと融合フレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-07T13:36:39Z) - Incomplete Modality Disentangled Representation for Ophthalmic Disease Grading and Diagnosis [16.95583564875497]
本稿では,不完全なモダリティ・ディアンタングル表現(IMDR)戦略を提案する。
4つのマルチモーダルデータセットの実験により、提案したIMDRが最先端の手法を大幅に上回ることを示した。
論文 参考訳（メタデータ） (2025-02-17T12:10:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。