論文の概要: A Fully Transformer Based Multimodal Framework for Explainable Cancer Image Segmentation Using Radiology Reports

• arxiv url: http://arxiv.org/abs/2508.13796v1
• Date: Tue, 19 Aug 2025 12:55:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.923035
• Title: A Fully Transformer Based Multimodal Framework for Explainable Cancer Image Segmentation Using Radiology Reports
• Title（参考訳）: ラジオグラフィーレポートを用いた説明可能な癌画像分割のためのフルトランスフォーマーに基づくマルチモーダルフレームワーク
• Authors: Enobong Adahada, Isabel Sassoon, Kate Hone, Yongmin Li,
• Abstract要約: Med-CTX(Med-CTX)を導入した。 我々は,臨床放射線学報告を統合して,パフォーマンスと解釈可能性の両立を図った。 BUS-BRAデータセットでは、Diceスコアが99%、IoUが95%に達し、既存のベースラインであるU-Net、ViT、Swinを上回っている。
• 参考スコア（独自算出の注目度）: 2.629902609930227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Med-CTX, a fully transformer based multimodal framework for explainable breast cancer ultrasound segmentation. We integrate clinical radiology reports to boost both performance and interpretability. Med-CTX achieves exact lesion delineation by using a dual-branch visual encoder that combines ViT and Swin transformers, as well as uncertainty aware fusion. Clinical language structured with BI-RADS semantics is encoded by BioClinicalBERT and combined with visual features utilising cross-modal attention, allowing the model to provide clinically grounded, model generated explanations. Our methodology generates segmentation masks, uncertainty maps, and diagnostic rationales all at once, increasing confidence and transparency in computer assisted diagnosis. On the BUS-BRA dataset, Med-CTX achieves a Dice score of 99% and an IoU of 95%, beating existing baselines U-Net, ViT, and Swin. Clinical text plays a key role in segmentation accuracy and explanation quality, as evidenced by ablation studies that show a -5.4% decline in Dice score and -31% in CIDEr. Med-CTX achieves good multimodal alignment (CLIP score: 85%) and increased confi dence calibration (ECE: 3.2%), setting a new bar for trustworthy, multimodal medical architecture.
• Abstract（参考訳）: Med-CTX (Med-CTX) は, 乳がんの超音波診断のためのマルチモーダルフレームワークである。 我々は,臨床放射線学報告を統合して,パフォーマンスと解釈可能性の両立を図った。 Med-CTX は、ViT と Swin のトランスフォーマーを組み合わせたデュアルブランチ・ビジュアルエンコーダと、不確かさを意識した融合によって、正確な病変のデライン化を実現する。 BI-RADSセマンティクスで構築された臨床言語は、BioClinicalBERTによってコード化され、クロスモーダルな注意を生かした視覚的特徴が組み合わされ、このモデルが臨床的に基礎付けられたモデル生成の説明を提供する。 本手法は, セグメンテーションマスク, 不確実性マップ, 診断合理性を同時に生成し, コンピュータ支援診断における信頼性と透明性を高める。 BUS-BRAデータセットでは、Diceスコアが99%、IoUが95%に達し、既存のベースラインであるU-Net、ViT、Swinを上回っている。 臨床テキストはセグメンテーションの精度と説明の質において重要な役割を担っており、デススコアの5.4%、CIDErの3.1%の低下を示すアブレーション研究によって証明されている。 Med-CTXは、良好なマルチモーダルアライメント(CLIPスコア:85%)とコンフィデンスキャリブレーション(ECE:3.2%)を実現し、信頼性の高いマルチモーダル医療アーキテクチャのための新しいバーを設定する。

関連論文リスト

• Advancing Chronic Tuberculosis Diagnostics Using Vision-Language Models: A Multi modal Framework for Precision Analysis [0.0]
  本研究では,自動結核検診(TB)を強化するビジョン・ランゲージ・モデル(VLM)を提案する。 胸部X線画像と臨床データを統合することにより,手動による解釈の課題に対処する。 このモデルでは、重要な慢性TBの病態を検出するための高精度(44%)とリコール(44%)が示された。
  論文  参考訳（メタデータ） (2025-03-17T13:49:29Z)
• Towards Interpretable Radiology Report Generation via Concept Bottlenecks using a Multi-Agentic RAG [1.9374282535132377]
  本研究では, レポート生成のための概念ボトルネックモデル(CBM)とマルチエージェント検索・拡張生成システム(RAG)を用いて, 胸部X線分類(CXR)の解釈可能性を向上させる。 視覚特徴と臨床概念の関係をモデル化することにより,多エージェントRAGシステムで放射線診断レポートを生成するための解釈可能な概念ベクトルを作成する。
  論文  参考訳（メタデータ） (2024-12-20T17:33:50Z)
• Bridging the Diagnostic Divide: Classical Computer Vision and Advanced AI methods for distinguishing ITB and CD through CTE Scans [2.900410045439515]
  放射線医の間では, 内皮-皮下脂肪比は, ITBとCDの鑑別における代用バイオマーカーとして認識されている。 本稿では,この比率計算を自動化するために,皮下脂肪の自動分離のための新しい2次元画像コンピュータビジョンアルゴリズムを提案する。 ITB, CD, 正常患者のサンプルを用いて, CTEスキャンのデータセットを用いてResNet10モデルを訓練し, 75%の精度を得た。
  論文  参考訳（メタデータ） (2024-10-23T17:05:27Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• HGT: A Hierarchical GCN-Based Transformer for Multimodal Periprosthetic Joint Infection Diagnosis Using CT Images and Text [0.0]
  補綴関節感染症(PJI)は重篤な合併症である。 現在,CT画像とPJIの数値テキストデータを組み合わせた統一診断基準が確立されていない。 本研究では,ディープラーニングとマルチモーダル技術に基づく診断手法であるHGTを紹介する。
  論文  参考訳（メタデータ） (2023-05-29T11:25:57Z)
• Reliable Joint Segmentation of Retinal Edema Lesions in OCT Images [55.83984261827332]
  本稿では,信頼性の高いマルチスケールウェーブレットエンハンストランスネットワークを提案する。 本研究では,ウェーブレット型特徴抽出器ネットワークとマルチスケール変圧器モジュールを統合したセグメンテーションバックボーンを開発した。 提案手法は,他の最先端セグメンテーション手法と比較して信頼性の高いセグメンテーション精度を実現する。
  論文  参考訳（メタデータ） (2022-12-01T07:32:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。