論文の概要: Unleashing the Power of Image-Tabular Self-Supervised Learning via Breaking Cross-Tabular Barriers
- arxiv url: http://arxiv.org/abs/2512.14026v1
- Date: Tue, 16 Dec 2025 02:47:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-17 16:49:26.555972
- Title: Unleashing the Power of Image-Tabular Self-Supervised Learning via Breaking Cross-Tabular Barriers
- Title(参考訳): クロスタブラリ障壁破りによるイメージタブラリ自己監督学習の力の解放
- Authors: Yibing Fu, Yunpeng Zhao, Zhitao Zeng, Cheng Chen, Yueming Jin,
- Abstract要約: CITabは、強力なマルチモーダルな特徴表現を多言語的に学習するように設計されている。
我々は3つの公開データコホートにまたがってアルツハイマー病診断タスクの評価を行った。
- 参考スコア(独自算出の注目度): 18.773799048193826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-modal learning integrating medical images and tabular data has significantly advanced clinical decision-making in recent years. Self-Supervised Learning (SSL) has emerged as a powerful paradigm for pretraining these models on large-scale unlabeled image-tabular data, aiming to learn discriminative representations. However, existing SSL methods for image-tabular representation learning are often confined to specific data cohorts, mainly due to their rigid tabular modeling mechanisms when modeling heterogeneous tabular data. This inter-tabular barrier hinders the multi-modal SSL methods from effectively learning transferrable medical knowledge shared across diverse cohorts. In this paper, we propose a novel SSL framework, namely CITab, designed to learn powerful multi-modal feature representations in a cross-tabular manner. We design the tabular modeling mechanism from a semantic-awareness perspective by integrating column headers as semantic cues, which facilitates transferrable knowledge learning and the scalability in utilizing multiple data sources for pretraining. Additionally, we propose a prototype-guided mixture-of-linear layer (P-MoLin) module for tabular feature specialization, empowering the model to effectively handle the heterogeneity of tabular data and explore the underlying medical concepts. We conduct comprehensive evaluations on Alzheimer's disease diagnosis task across three publicly available data cohorts containing 4,461 subjects. Experimental results demonstrate that CITab outperforms state-of-the-art approaches, paving the way for effective and scalable cross-tabular multi-modal learning.
- Abstract(参考訳): 近年,医用画像と表層データを組み合わせたマルチモーダルラーニングが臨床診断に大きく進歩している。
SSL(Self-Supervised Learning)は、識別表現の学習を目的とした、大規模な未ラベル画像タブラルデータ上でこれらのモデルを事前学習するための強力なパラダイムとして登場した。
しかし、画像タブラル表現学習のための既存のSSL法は、不均一な表型データをモデリングする際の厳密な表型モデリング機構のために、特定のデータコホートに限られることが多い。
このタブラル間障壁は、多様なコホート間で共有される伝達可能な医療知識を効果的に学習することから、マルチモーダルSSLメソッドを妨げる。
本稿では,マルチモーダルな特徴表現を多言語的に学習するための新しいSSLフレームワークであるCITabを提案する。
列ヘッダをセマンティックキューとして統合することで,意味認識の観点から表型モデリング機構を設計し,事前学習に複数のデータソースを利用する際の伝達可能な知識学習とスケーラビリティを実現する。
さらに,表特徴特化のためのプロトタイプ誘導混合層(P-MoLin)モジュールを提案し,表データの不均一性を効果的に処理し,基礎となる医療概念を探索する。
我々は,4,461人の被験者を含む3つの公開データコホートを対象に,アルツハイマー病の診断タスクに関する総合的な評価を行った。
実験の結果、CITabは最先端のアプローチよりも優れており、効果的でスケーラブルなマルチタブラル学習への道を開いた。
関連論文リスト
- HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。
HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-11-15T17:06:26Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - Best of Both Worlds: Multimodal Contrastive Learning with Tabular and
Imaging Data [7.49320945341034]
単調エンコーダを学習するための自己指導型コントラスト学習フレームワークを提案する。
我々のソリューションは、2つの主要なコントラスト学習戦略であるSimCLRとSCARFを組み合わせています。
DVMカー広告データセットを用いて,自然画像へのアプローチの一般化可能性を示す。
論文 参考訳(メタデータ) (2023-03-24T15:44:42Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Learning Binary Semantic Embedding for Histology Image Classification
and Retrieval [56.34863511025423]
バイナリ・セマンティック・エンベディング(LBSE)の学習方法を提案する。
効率的な埋め込み、分類、検索を行い、組織像の解釈可能なコンピュータ支援診断を提供する。
3つのベンチマークデータセットで実施された実験は、様々なシナリオにおいてLBSEの優位性を検証する。
論文 参考訳(メタデータ) (2020-10-07T08:36:44Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。