論文の概要: Multimodal Fusion for Fine-Grained Classification of Breast Fibroadenoma and Phyllodes Tumors
- arxiv url: http://arxiv.org/abs/2607.02091v1
- Date: Thu, 02 Jul 2026 12:30:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.826653
- Title: Multimodal Fusion for Fine-Grained Classification of Breast Fibroadenoma and Phyllodes Tumors
- Title(参考訳): 乳腺線維腺腫とフィロデス腫瘍の微粒化診断のための多モード核融合法
- Authors: Chuxi Nan, Di Wu, Hongming Guo, Ning Cao, Xiaohui Zhu, Zhaoting Shi, Jiawei Li,
- Abstract要約: 乳腺線維腺腫 (FA) とフィロデス腫瘍 (PT) は,Bモード超音波に高頻度に重複する線維上皮性乳腺病変である。
本稿では、視覚的エンコーディング、CLIPにインスパイアされたテキストエンコーディング、軽量な臨床エンコーディングを統合した臨床ガイド付きマルチモーダルフレームワークを提案する。
患者レベルの5倍のクロスバリデーションでは,77.64%,F1スコア73.38%,AUC89.74%の精度が得られた。
- 参考スコア(独自算出の注目度): 7.587937243908819
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Breast fibroadenoma (FA) and phyllodes tumor (PT) are fibroepithelial breast lesions with highly overlapping appearances on B-mode ultrasound, making benign and borderline PT prone to being misclassified as FA and complicating preoperative decision-making. Existing computer-aided diagnosis methods commonly rely on single-modal imaging features and insufficiently exploit complementary clinical and textual information. To address this limitation, we construct the FAPT-M Dataset, a pathology-confirmed multimodal dataset comprising 910 patients with strictly reviewed ultrasound images, structured clinical attributes, and ultrasound diagnostic descriptions. Based on this dataset, we propose a clinically guided multimodal framework that integrates DenseNet-based visual encoding, CLIP-inspired text encoding, and lightweight clinical encoding, and further introduces clinical-conditioned adaptive modulation, cross-modal Transformer fusion, and dual-path representation learning to improve feature alignment and multimodal interaction. Under patient-level five-fold cross-validation, the proposed method achieves an accuracy of 77.64%, F1-score of 73.38%, and AUC of 89.74%, outperforming representative CNN-, Transformer-, and vision-language-based baselines. Ablation studies and class-balanced evaluations further confirm the contribution of three-modality fusion and the key architectural components. Overall, this work provides an effective multimodal approach for fine-grained FA-PT classification and establishes a high-quality benchmark for multimodal breast ultrasound analysis.
- Abstract(参考訳): 乳腺線維腺腫 (FA) とフィロデス腫瘍 (PT) はBモード超音波に高頻度に重複する線維上皮性乳腺病変であり,良性および境界性PTはFAと誤分類される傾向があり,術前の判定が困難である。
既存のコンピュータ支援診断手法は、単一のモーダルイメージング機能に依存しており、補完的な臨床情報やテキスト情報の活用には不十分である。
この限界に対処するため, FAPT-Mデータセットを構築し, 厳密にレビューされた超音波画像, 構造化された臨床属性, 超音波診断所見を含む病理診断用マルチモーダルデータセットを構築した。
本データセットに基づいて,DenseNetベースのビジュアルエンコーディング,CLIPによるテキストエンコーディング,ライトウェイトな臨床エンコーディングを統合した臨床ガイド付きマルチモーダルフレームワークを提案し,さらに臨床条件付き適応変調,クロスモーダルトランスフォーマー融合,デュアルパス表現学習を導入し,機能アライメントとマルチモーダルインタラクションを改善した。
患者レベル5倍のクロスバリデーションでは,77.64%,F1スコア73.38%,AUC89.74%,代表的CNN-,Transformer-,ビジョン言語ベースラインを上回り,精度が向上した。
アブレーション研究とクラスバランス評価は、3つのモダリティ融合と重要なアーキテクチャ要素の寄与をさらに確認する。
本研究は, FA-PT分類のための効果的なマルチモーダルアプローチを提供し, マルチモーダル乳房超音波解析のための高品質なベンチマークを確立する。
関連論文リスト
- JI-ADF: Joint-Individual Learning with Adaptive Decision Fusion for Multimodal Skin Lesion Classification [1.57333503756856]
皮膚病変の分類は早期皮膚科診断に不可欠である。
既存のコンピュータ支援システムの多くは、主に皮膚鏡画像に頼り、マルチモーダルな証拠を過小評価している。
皮膚内視鏡画像,臨床写真,構造化された患者のメタデータを統合した3モーダル深層学習フレームワークである textbfJI-ADF を提案する。
論文 参考訳(メタデータ) (2026-04-30T02:48:15Z) - Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs [63.535652574541764]
MLLM(Multimodal Large Language Models)は医用画像解析において顕著な可能性を示した。
消化器内視鏡におけるそれらの応用は、現在、2つの重要な限界によって妨げられている。
本稿では,これらの課題に対処する新しい臨床認知アライメント(CogAlign)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-21T07:47:37Z) - Multimodal Deep Learning for Phyllodes Tumor Classification from Ultrasound and Clinical Data [0.29981448312652675]
Phyllodes tumors (PTs) は良性線維腺腫との放射線学的類似性から術前の分類が困難である。
乳房超音波(BUS)画像を構造化された臨床データと統合して診断精度を向上させるマルチモーダルディープラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-29T19:54:11Z) - A Fully Transformer Based Multimodal Framework for Explainable Cancer Image Segmentation Using Radiology Reports [2.629902609930227]
Med-CTX(Med-CTX)を導入した。
我々は,臨床放射線学報告を統合して,パフォーマンスと解釈可能性の両立を図った。
BUS-BRAデータセットでは、Diceスコアが99%、IoUが95%に達し、既存のベースラインであるU-Net、ViT、Swinを上回っている。
論文 参考訳(メタデータ) (2025-08-19T12:55:10Z) - TopoTxR: A topology-guided deep convolutional network for breast parenchyma learning on DCE-MRIs [49.69047720285225]
そこで本研究では,乳房側葉構造をよりよく近似するために,マルチスケールのトポロジ構造を明示的に抽出する新しいトポロジカルアプローチを提案する。
VICTREファントム乳房データセットを用いてemphTopoTxRを実験的に検証した。
本研究の質的および定量的分析は,乳房組織における画像診断におけるトポロジカルな挙動を示唆するものである。
論文 参考訳(メタデータ) (2024-11-05T19:35:10Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳(メタデータ) (2023-12-29T14:28:04Z) - A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics [63.106382317917344]
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。
統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
論文 参考訳(メタデータ) (2023-06-01T16:23:47Z) - Multiple Time Series Fusion Based on LSTM An Application to CAP A Phase
Classification Using EEG [56.155331323304]
本研究では,深層学習に基づく脳波チャンネルの特徴レベル融合を行う。
チャネル選択,融合,分類手順を2つの最適化アルゴリズムで最適化した。
論文 参考訳(メタデータ) (2021-12-18T14:17:49Z) - Deep Orthogonal Fusion: Multimodal Prognostic Biomarker Discovery
Integrating Radiology, Pathology, Genomic, and Clinical Data [0.32622301272834525]
グリオーマ患者の生存率 (OS) を, 深層直交核融合モデルを用いて予測した。
このモデルは、MRI検査、生検に基づくモダリティ、臨床変数から得た情報を総合的なマルチモーダルリスクスコアに組み合わせることを学ぶ。
グリオーマ患者を臨床的サブセット内でOSにより明らかに層分けし、予後不良な臨床グレーディングと分子サブタイプにさらに粒度を付加する。
論文 参考訳(メタデータ) (2021-07-01T17:59:01Z) - Co-Heterogeneous and Adaptive Segmentation from Multi-Source and
Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion
Segmentation [48.504790189796836]
我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。
本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。
CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
論文 参考訳(メタデータ) (2020-05-27T06:58:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。