論文の概要: A Geometric Multimodal Foundation Model Integrating Bp-MRI and Clinical Reports in Prostate Cancer Classification
- arxiv url: http://arxiv.org/abs/2602.00214v1
- Date: Fri, 30 Jan 2026 15:21:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.058876
- Title: A Geometric Multimodal Foundation Model Integrating Bp-MRI and Clinical Reports in Prostate Cancer Classification
- Title(参考訳): 前立腺癌分類におけるBp-MRIと臨床報告を統合した幾何学的マルチモーダルファンデーションモデル
- Authors: Juan A. Olmos, Antoine Manzanera, Fabio Martínez,
- Abstract要約: 前立腺癌(PCa)は、世界でも最も多いがんの1つである。
既存のコンピュータ支援診断手法の多くは画像ベースモデルに重点を置いている。
我々はbp-MRIと臨床報告から表現を学習する多モード幾何学基礎モデル(FM)を提案する。
- 参考スコア(独自算出の注目度): 6.053648545114842
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prostate cancer (PCa) is one of the most common cancers in men worldwide. Bi-parametric MRI (bp-MRI) and clinical variables are crucial for PCa identification and improving treatment decisions. However, this process is subjective to expert interpretations. Furthermore, most existing computer-aided diagnosis methods focus on imaging-based models, overlooking the clinical context and suffering from data scarcity, limiting their ability to learn robust representations. We propose a geometric multimodal Foundation Model (FM), named MFM-Geom, that learns representations from bp-MRI and clinical reports, encoding visual findings and information from the context of clinical variables. In the representations classification head, the approach leverages symmetric positive definite (SPD) matrices and Riemannian deep learning to integrate imaging-text representations from a biomedical multimodal FM. Using 10% of the training data, MFM-Geom outperformed baseline class token embedding-based classification (+8.3%, AUC-PR of 90.67). Generalization on external dataset confirmed the robustness of fine-tuning biomedical FM, achieving an AUC-PR of 90.6.
- Abstract(参考訳): 前立腺癌(PCa)は世界でも最も多いがんの1つである。
バイパラメトリックMRI(bp-MRI)と臨床変数はPCaの同定と治療決定の改善に不可欠である。
しかし、このプロセスは専門家の解釈を前提としている。
さらに、既存のコンピュータ支援診断手法の多くは、画像ベースのモデルに焦点を当てており、臨床状況を見下ろし、データの不足に悩まされ、堅牢な表現を学習する能力が制限されている。
我々は,bp-MRIおよび臨床報告から表現を学習し,臨床変数の文脈から視覚所見と情報を符号化する幾何学的マルチモーダルファンデーションモデル(FM)を提案する。
表現分類ヘッドにおいて、この手法は対称正定値行列とリーマン深層学習を利用して、生体医学的マルチモーダルFMからの画像テキスト表現を統合する。
トレーニングデータの10%を使用して、MFM-Geomはベースラインクラスのトークン埋め込みベースの分類(+8.3%、AUC-PR 90.67)より優れていた。
外部データセットの一般化により、微調整されたバイオメディカルFMの堅牢性が確認され、AUC-PRは90.6である。
関連論文リスト
- PathMoE: Interpretable Multimodal Interaction Experts for Pediatric Brain Tumor Classification [30.58342408480846]
PathMoEは、H&Eスライド、病理報告、核レベルセルグラフを統合する、解釈可能なマルチモーダルフレームワークである。
内科的脳腫瘍データセットと外部TGAデータセットの2つのデータセット固有の分類タスクについて,本フレームワークの評価を行った。
論文 参考訳(メタデータ) (2026-03-02T07:17:44Z) - brat: Aligned Multi-View Embeddings for Brain MRI Analysis [36.795218160666266]
bratは、臨床報告と組み合わせたMRIで訓練された脳磁気共鳴画像(MRI)のための多視点表現学習フレームワークである。
脳MRIは、多種多様で、しばしば微妙な異常が3Dボリューム内のいくつかのスライスに局在しているため、ユニークな課題を呈している。
論文 参考訳(メタデータ) (2025-12-21T10:37:31Z) - Mammo-FM: Breast-specific foundational model for Integrated Mammographic Diagnosis, Prognosis, and Reporting [10.376219551996792]
Mammo-FMはマンモグラフィーのための最初の基礎モデルであり、これまでで最大かつ最も多様なデータセットで事前訓練されている。
Mammo-FMは、乳がん診断、病理組織局在、構造化レポート生成、がんリスク予後など、乳房画像におけるコア臨床タスクの統一基盤を提供する。
論文 参考訳(メタデータ) (2025-11-28T20:41:14Z) - Adapting HFMCA to Graph Data: Self-Supervised Learning for Generalizable fMRI Representations [57.054499278843856]
機能的磁気共鳴画像(fMRI)解析は、データセットのサイズが限られ、研究間でのドメインの変動が原因で大きな課題に直面している。
コンピュータビジョンにインスパイアされた従来の自己教師付き学習手法は、正と負のサンプルペアに依存することが多い。
本稿では,最近開発された階層関数最大相関アルゴリズム(HFMCA)をグラフ構造fMRIデータに適用することを提案する。
論文 参考訳(メタデータ) (2025-10-05T12:35:01Z) - Fusion-Based Brain Tumor Classification Using Deep Learning and Explainable AI, and Rule-Based Reasoning [0.0]
本研究では,MobileNetV2とDenseNet121畳み込みニューラルネットワーク(CNN)を組み合わせたアンサンブルに基づくディープラーニングフレームワークを提案する。
モデルは、階層化された5倍のクロスバリデーションプロトコルを使用して、Figshareデータセット上でトレーニングされ、評価された。
このアンサンブルは個々のCNNよりも優れた性能を示し、精度は91.7%、精度は91.9%、リコールは91.7%、F1スコアは91.6%だった。
論文 参考訳(メタデータ) (2025-08-09T08:46:36Z) - Sensing Cardiac Health Across Scenarios and Devices: A Multi-Modal Foundation Model Pretrained on Heterogeneous Data from 1.7 Million Individuals [36.08910150609342]
広大で異質な健康記録から統一された表現を学習する心センシング基礎モデル(CSFM)を提案する。
我々のモデルは、複数の大規模データセットからのデータの革新的なマルチモーダル統合に基づいて事前訓練されている。
CSFMは従来のワンモーダル・ワン・タスク・アプローチより一貫して優れている。
論文 参考訳(メタデータ) (2025-06-23T20:58:12Z) - BRISC: Annotated Dataset for Brain Tumor Segmentation and Classification [0.6840587119863303]
我々は,脳腫瘍のセグメンテーションと分類タスクのためのデータセットであるBRISCを紹介し,高分解能セグメンテーションマスクを特徴とする。
データセットは6000のコントラスト強化T1強調MRIスキャンで構成され、セグメンテーションラベルを欠いた複数の公開データセットから照合された。
悪性腫瘍としてはグリオーマ、髄膜腫、下垂体腫瘍の3種類と非腫瘍の3種類がある。
論文 参考訳(メタデータ) (2025-06-17T08:56:05Z) - Enhanced MRI Representation via Cross-series Masking [48.09478307927716]
自己教師型でMRI表現を効果的に学習するためのクロスシリーズ・マスキング(CSM)戦略
メソッドは、パブリックデータセットと社内データセットの両方で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-12-10T10:32:09Z) - HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。
このアプローチは、これらのモダリティに存在する相補的な情報を活用し、様々な医療応用の精度を高めることを目的としている。
論文 参考訳(メタデータ) (2024-03-20T05:50:04Z) - PE-MVCNet: Multi-view and Cross-modal Fusion Network for Pulmonary Embolism Prediction [4.659998272408215]
肺塞栓症(PE)の早期発見は、患者の生存率を高めるために重要である。
PE-MVCNetとよばれる多モード核融合法を提案する。
提案モデルは既存の手法より優れており, 単一のデータモダリティを用いたモデルと比較して, マルチモーダル融合モデルの方が優れていることを裏付けるものである。
論文 参考訳(メタデータ) (2024-02-27T03:53:27Z) - CIMIL-CRC: a clinically-informed multiple instance learning framework for patient-level colorectal cancer molecular subtypes classification from H\&E stained images [42.771819949806655]
CIMIL-CRCは、事前学習した特徴抽出モデルと主成分分析(PCA)を効率よく組み合わせ、全てのパッチから情報を集約することで、MSI/MSS MIL問題を解決するフレームワークである。
我々は,TCGA-CRC-DXコホートを用いたモデル開発のための5倍のクロスバリデーション実験装置を用いて,曲線下平均面積(AUC)を用いてCIMIL-CRC法の評価を行った。
論文 参考訳(メタデータ) (2024-01-29T12:56:11Z) - ChatRadio-Valuer: A Chat Large Language Model for Generalizable
Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。
本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。
ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文 参考訳(メタデータ) (2023-10-08T17:23:17Z) - Classification of lung cancer subtypes on CT images with synthetic
pathological priors [41.75054301525535]
同症例のCT像と病理像との間には,画像パターンに大規模な関連性が存在する。
肺がんサブタイプをCT画像上で正確に分類するための自己生成型ハイブリッド機能ネットワーク(SGHF-Net)を提案する。
論文 参考訳(メタデータ) (2023-08-09T02:04:05Z) - Domain Transfer Through Image-to-Image Translation for Uncertainty-Aware Prostate Cancer Classification [42.75911994044675]
前立腺MRIの非対位画像翻訳のための新しいアプローチと臨床的に重要なPCaを分類するための不確実性認識トレーニングアプローチを提案する。
提案手法では,無ペアの3.0T多パラメータ前立腺MRIを1.5Tに翻訳し,利用可能なトレーニングデータを増強する。
実験の結果,提案手法は,従来の研究に比べてAUC(Area Under ROC Curve)を20%以上改善することがわかった。
論文 参考訳(メタデータ) (2023-07-02T05:26:54Z) - Explaining Clinical Decision Support Systems in Medical Imaging using
Cycle-Consistent Activation Maximization [112.2628296775395]
ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。
臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。
そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
論文 参考訳(メタデータ) (2020-10-09T14:39:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。