論文の概要: UniMod: Enhancing Multi-Modal Medical Diagnosis through Cross-Modality and Within-Modality Alignment

• arxiv url: http://arxiv.org/abs/2608.10316v1
• Date: Mon, 10 Aug 2026 23:39:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.84929
• Title: UniMod: Enhancing Multi-Modal Medical Diagnosis through Cross-Modality and Within-Modality Alignment
• Title（参考訳）: UniMod: クロスモダリティとイントラモダリティアライメントによるマルチモーダル医療診断の強化
• Abstract要約: 医療画像と臨床テキストを組み合わせたマルチモーダル学習は疾患診断に有望である。 標準のマルチモーダルトレーニングは、ショートカット学習につながります。 そこで我々は,近道学習を緩和するフレームワークUniModを提案する。
• 参考スコア（独自算出の注目度）: 13.090521817897818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal learning combining medical images and clinical text is promising for disease diagnosis. However, standard multi-modal training leads to shortcut learning: models exploit the easier modality (e.g., diagnostic cues in text) while neglecting harder-to-learn features (e.g., subtle visual patterns). We propose UniMod, a framework that mitigates shortcut learning by requiring each modality to predict the diagnosis on its own. It supervises image-only, text-only, and multi-modal classification simultaneously, so each modality must extract diagnostic features. We add cross-modality alignment for knowledge transfer and within-modality supervised contrastive alignment over same-diagnosis patients. On Harvard-Glaucoma, UniMod reaches 0.850 AUC, outperforming OGM-GE and Gradient Blending by 1.6-1.8%; on CheXpert Plus, it reaches 0.966 AUC, surpassing them by over 5%. UniMod also extends to 5-class multi-label diagnosis without architectural change, improving mean AUC by 0.097 over CGGM.
• Abstract（参考訳）: 医療画像と臨床テキストを組み合わせたマルチモーダル学習は疾患診断に有望である。 しかし、標準的なマルチモーダルトレーニングはショートカット学習につながる:モデルはより簡単なモダリティ(例:テキストでの診断の手がかり)を使いながら、より難しい特徴(例:微妙な視覚パターン)を無視します。 そこで我々は,近道学習を緩和するフレームワークUniModを提案する。 画像のみ、テキストのみ、およびマルチモーダル分類を同時に監督するので、各モーダルは診断的特徴を抽出する必要がある。 また, 同症患者に対して, 知識伝達のための相互モダリティアライメントと, 相互モダリティ管理によるコントラストアライメントを付加した。 ハーバード・グラコマではOGM-GEとグラディエント・ブレンディングを1.6-1.8%上回り、CheXpert Plusでは0.966 AUCに上り、その5%を超えている。 UniModはまた、アーキテクチャの変更なしに5クラスのマルチラベル診断に拡張し、平均AUCをCGGMよりも0.097改善した。

関連論文リスト

• AdaSurvMamba: Dynamic Fusion and Semantic Scanning for Multimodal Survival Analysis [57.942670844512016]
  我々はAdaSurvMambaをマルチモーダルサバイバル分析の新しい適応フレームワークとして紹介する。 このフレームワークは、クロスモーダル相互作用強度を動的に変調するDual-Scale Importance-Aware Reconstruction (DSIR)モジュールを備えている。 5つのTCGAコホートに対する実験は、既存の方法よりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-06-28T11:36:31Z)
• D3Seg: Dependency-Aware Diffusion for Brain Tumor Segmentation with Missing Modalities [54.87947751720332]
  欠落モード設定下での安定した性能を維持するために,新しいセグメンテーションモデルD3Segを提案する。 提案モデルでは, 腫瘍造影法 (ET) で約1.5～2.0%, 腫瘍コア法 (TC) で約1.0%, 複数の欠損モードで約1.0%を達成している。
  論文  参考訳（メタデータ） (2026-05-21T09:55:42Z)
• AnyAD: Unified Any-Modality Anomaly Detection in Incomplete Multi-Sequence MRI [16.227149608640477]
  本稿では,任意のMRIモダリティ・アベイラビリティの下で,ロバストな異常検出と局所化を行う,Any-Modality 異常検出フレームワークを提案する。 Intrinsic Normal Prototypes (INPs) extractorとINP-guided Decoderを導入し、正常な解剖学的パターンのみを再構成し、異常な偏差を自然に増幅する。 我々のアプローチは、7つのモダリティの組み合わせにまたがって、最先端の産業と医療のADベースラインを一貫して超越し、より優れた一般化を実現している。
  論文  参考訳（メタデータ） (2025-12-24T16:16:09Z)
• No Modality Left Behind: Adapting to Missing Modalities via Knowledge Distillation for Brain Tumor Segmentation [11.776176055438313]
  AdaMMは、欠落したモダリティシナリオに適したマルチモーダル脳腫瘍セグメンテーションフレームワークである。 AdaMMは既存の手法を一貫して上回り、セグメンテーション精度とロバスト性に優れる。
  論文  参考訳（メタデータ） (2025-09-18T14:47:20Z)
• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• CLIMD: A Curriculum Learning Framework for Imbalanced Multimodal Diagnosis [21.001994821490644]
  不均衡型マルチモーダル診断(CLIMD)のためのカリキュラム学習フレームワークを提案する。 具体的には、まず、モーダル内信頼度とモーダル間相補性を組み合わせたマルチモーダルカリキュラム尺度を設計し、モデルがキーサンプルに集中できるようにする。 プラグイン・アンド・プレイのCLフレームワークとして、CLIMDは他のモデルに容易に統合することができ、マルチモーダル病の診断精度を向上させるための有望な経路を提供する。
  論文  参考訳（メタデータ） (2025-08-03T05:25:12Z)
• A Hybrid CNN-VSSM model for Multi-View, Multi-Task Mammography Analysis: Robust Diagnosis with Attention-Based Fusion [5.15423063632115]
  乳がんの早期かつ正確な検診は乳がん検出に不可欠である。 既存のAIアプローチは、単一ビューのインプットや単一タスクのアウトプットに注目して、不足している。 本研究では,4つの標準マンモグラフィビュー全てを処理する,新しいマルチビュー・マルチタスクハイブリッドディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:52:18Z)
• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• Decoupling Feature Representations of Ego and Other Modalities for Incomplete Multi-modal Brain Tumor Segmentation [44.03751425551935]
  我々は、エゴや他のモダリティを表現するタスクをデカップリングすることで、モダリティ適応を強化するためにDeMoSegを提案する。 最初の部分空間は自身を表現し(Self-feature)、残りの部分空間は他のモダリティを代用する(Mutual-features)。 DeMoSegは、他の最先端と比較して、腫瘍全体、腫瘍コア、強化腫瘍領域において、Diceを少なくとも0.92%、2.95%、および4.95%増加させる。
  論文  参考訳（メタデータ） (2024-08-16T12:43:11Z)
• Multi-modal Learning with Missing Modality in Predicting Axillary Lymph Node Metastasis [7.207158973042472]
  多モードデータ、全スライド画像(WSI)および臨床情報により、軸索リンパ節転移の診断におけるディープラーニングモデルの性能を向上させることができる。 マルチモーダル分岐と単一モーダル分岐からなる双方向蒸留フレームワークを提案する。 提案手法は,AUCが0.861,AUCが0.842,AUCが80%,AUCが0.842,AUCが0.842となっている。
  論文  参考訳（メタデータ） (2024-01-03T05:59:48Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。