論文の概要: CFCML: A Coarse-to-Fine Crossmodal Learning Framework For Disease Diagnosis Using Multimodal Images and Tabular Data

• arxiv url: http://arxiv.org/abs/2603.20016v1
• Date: Fri, 20 Mar 2026 15:01:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.194091
• Title: CFCML: A Coarse-to-Fine Crossmodal Learning Framework For Disease Diagnosis Using Multimodal Images and Tabular Data
• Title（参考訳）: CFCML:マルチモーダル画像とタブラルデータを用いた疾患診断のための粗大なクロスモーダル学習フレームワーク
• Authors: Tianling Liu, Hongying Liu, Fanhua Shang, Lequan Yu, Tong Han, Liang Wan,
• Abstract要約: 臨床診断にはクロスモーダル情報が必要である。 既存のクロスモーダル学習手法の多くは、主にハイレベルエンコーダ出力間の関係を探究することに焦点を当てている。 そこで本研究では,モダリティギャップを段階的に減少させるために,CFCML(coarse-to-fine crossmodal learning)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 54.816000602323726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In clinical practice, crossmodal information including medical images and tabular data is essential for disease diagnosis. There exists a significant modality gap between these data types, which obstructs advancements in crossmodal diagnostic accuracy. Most existing crossmodal learning (CML) methods primarily focus on exploring relationships among high-level encoder outputs, leading to the neglect of local information in images. Additionally, these methods often overlook the extraction of task-relevant information. In this paper, we propose a novel coarse-to-fine crossmodal learning (CFCML) framework to progressively reduce the modality gap between multimodal images and tabular data, by thoroughly exploring inter-modal relationships. At the coarse stage, we explore the relationships between multi-granularity features from various image encoder stages and tabular information, facilitating a preliminary reduction of the modality gap. At the fine stage, we generate unimodal and crossmodal prototypes that incorporate class-aware information, and establish hierarchical anchor-based relationship mining (HRM) strategy to further diminish the modality gap and extract discriminative crossmodal information. This strategy utilize modality samples, unimodal prototypes, and crossmodal prototypes as anchors to develop contrastive learning approaches, effectively enhancing inter-class disparity while reducing intra-class disparity from multiple perspectives. Experimental results indicate that our method outperforms the state-of-the-art (SOTA) methods, achieving improvements of 1.53% and 0.91% in AUC metrics on the MEN and Derm7pt datasets, respectively. The code is available at https://github.com/IsDling/CFCML.
• Abstract（参考訳）: 臨床実践においては、医療画像や表状データを含む横断的情報は、疾患の診断に不可欠である。 これらのデータ型の間には顕著なモダリティギャップがあり、クロスモーダルな診断精度の進歩を妨げている。 既存のクロスモーダル学習(CML)手法の多くは、主に高レベルのエンコーダ出力間の関係を探究することに焦点を当てており、画像内の局所情報の無視につながっている。 さらに、これらの手法はタスク関連情報の抽出をしばしば見落としている。 本稿では,マルチモーダル画像と表データ間のモダリティギャップを漸進的に低減するために,モーダル間関係を徹底的に探求し,より粗いクロスモーダル学習(CFCML)フレームワークを提案する。 粗い段階では,様々な画像エンコーダから得られる多粒度特徴と表情報の関連性について検討し,モダリティギャップの予備的低減を図った。 微細な段階では、クラス認識情報を組み込んだ一様・クロスモーダルなプロトタイプを生成し、階層的アンカーベース関係マイニング(HRM)戦略を確立し、モダリティギャップをさらに減らし、差別的なクロスモーダル情報を抽出する。 この戦略は、モダリティサンプル、単型プロトタイプ、およびクロスモーダルプロトタイプをアンカーとして利用し、コントラスト学習アプローチを開発し、クラス間の格差を効果的に強化し、クラス内格差を複数の視点から低減する。 実験の結果,MENおよびDerm7ptデータセットのAUC測定値の1.53%,0.91%の改善が得られた。 コードはhttps://github.com/IsDling/CFCMLで入手できる。

関連論文リスト

• Partially Supervised Unpaired Multi-Modal Learning for Label-Efficient Medical Image Segmentation [53.723234136550055]
  我々は、新しい学習パラダイムを部分教師付き無ペア型マルチモーダルラーニング(PSUMML)と呼ぶ。 そこで我々は,DEST (Ensembled Self-Training) フレームワークを用いた新しい部分クラス適応法を提案する。 我々のフレームワークは、部分的にラベル付けされていないマルチモーダルデータを用いて学習するためのモダリティ特定正規化層を持つコンパクトなセグメンテーションネットワークで構成されている。
  論文  参考訳（メタデータ） (2025-03-07T07:22:42Z)
• FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
  マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。 クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。 ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。 また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-05-13T12:39:08Z)
• Multi-Modal Federated Learning for Cancer Staging over Non-IID Datasets with Unbalanced Modalities [9.476402318365446]
  本研究では,データサンプルの不均一性だけでなく,機関間のデータモダリティの固有不均一性と不均一性を両立する新しいFLアーキテクチャを提案する。 マルチモーダルFLに適した分散勾配ブレンディングと近接対応クライアント重み付け戦略を考案した。
  論文  参考訳（メタデータ） (2024-01-07T23:45:01Z)
• Dynamic Multimodal Information Bottleneck for Multimodality Classification [26.65073424377933]
  本稿では,頑健な融合特徴表現を実現するための動的マルチモーダル情報ボトルネックフレームワークを提案する。 具体的には、情報ボトルネックモジュールは、融合機能におけるタスク関連情報やノイズをフィルタリングするのに役立ちます。 提案手法は最先端の手法を超越し, 大規模ノイズチャネルが存在する場合, 性能を維持できる唯一の手法である。
  論文  参考訳（メタデータ） (2023-11-02T08:34:08Z)
• A Low-rank Matching Attention based Cross-modal Feature Fusion Method for Conversational Emotion Recognition [54.44337276044968]
  低ランクマッチング注意法(LMAM)と呼ばれる新しい軽量クロスモーダル機能融合法を提案する。 LMAMは、会話における文脈的感情的意味情報を効果的に捉え、自己認識機構によって引き起こされる二次的複雑性問題を緩和する。 実験により, LMAMの軽量化を前提として, 他の一般的な相互拡散法と比較し, LMAMの優位性を検証した。
  論文  参考訳（メタデータ） (2023-06-16T16:02:44Z)
• CLIP-Driven Fine-grained Text-Image Person Re-identification [50.94827165464813]
  TIReIDは、候補画像のプールから与えられたテキストクエリに対応する画像を取得することを目的としている。 TIReIDにおけるCLIPの強力な知識をフル活用するための,CLIP駆動のきめ細かい情報抽出フレームワーク(CFine)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T03:43:12Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。