論文の概要: BreastGPT: A Multimodal Large Language Model for the Full Spectrum of Breast Cancer Clinical Routine

• arxiv url: http://arxiv.org/abs/2606.04911v1
• Date: Wed, 03 Jun 2026 14:06:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.806928
• Title: BreastGPT: A Multimodal Large Language Model for the Full Spectrum of Breast Cancer Clinical Routine
• Title（参考訳）: BreastGPT : 乳癌クリニカルルーチンの全スペクトルに対する多モーダル大言語モデル
• Authors: Yang Liu, Jiajin Zhang, Danyang Tu, Yaojun Hu, Jiao Qu, Jiuyu Zhang, Yu Shi, Wei Fang, Shi Gu, Ling Zhang, Yingda Xia,
• Abstract要約: textbfBreastStageは、ワークフローに整合した乳房画像診断コーパスである。 次に、デュアルブランチビジュアルエンコーダと概念保存トークン圧縮を備えた統合MLLMである textbfBreastGPT を構築する。 BreastStage-Benchでは、BreastGPTは75.66%のクローズドエンド精度と89.92%のオープンエンドスコアを達成し、汎用MLLMと医療用MLLMの両方を上回っている。
• 参考スコア（独自算出の注目度）: 18.209554692764733
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Breast cancer remains a leading cause of cancer-related mortality among women. Its clinical management requires multimodal reasoning across a clinical workflow that spans \textit{screening}, \textit{diagnosis} and \textit{treatment planning}, where each stage involves distinct imaging modalities, task objectives, and reasoning patterns. However, constrained by data scarcity and model versatility, existing medical MLLMs are typically evaluated on isolated modalities or narrow task families, limiting their ability to support workflow-level clinical reasoning. In this work, we first introduce \textbf{BreastStage}, a workflow-aligned breast imaging instruction corpus comprising 1.86M instruction-following pairs curated from 17 sub-datasets across 5 imaging modalities and 136 task templates. Its held-out split, \textbf{BreastStage-Bench}, provides a comprehensive benchmark for evaluating multimodal reasoning across the breast cancer care continuum. Building on this corpus, we propose \textbf{BreastGPT}, a unified MLLM equipped with a dual-branch visual encoder and concept-preserving token compression to bridge the scale gap between standard radiology and gigapixel pathology. On BreastStage-Bench, BreastGPT achieves 75.66\% closed-ended accuracy and 89.92\% open-ended score, outperforming both general-purpose and medical-specific MLLMs across clinical stages and task formats. These results suggest that workflow-aligned data and cross-scale visual modeling are critical for clinically grounded medical MLLMs. All data, code, and model checkpoints are released at https://yangyy-liu.github.io/BreastGPT.io.
• Abstract（参考訳）: 乳癌は依然として、女性のがん関連死亡の主な原因である。 その臨床管理には、臨床ワークフローにまたがるマルチモーダル推論が必要であり、各ステージは異なる画像のモダリティ、タスクの目的、推論パターンを含む。 しかし、データ不足とモデルの汎用性に制約され、既存の医療MLLMは孤立したモダリティや狭いタスクファミリーで評価され、ワークフローレベルの臨床推論をサポートする能力が制限される。 本研究ではまず,5つの画像モダリティと136のタスクテンプレートからなる17のサブデータセットから1.86Mの命令追従ペアをキュレートしたワークフロー整列型乳房画像指導コーパスである「textbf{BreastStage}」を紹介する。 乳がん治療連続体全体にわたるマルチモーダル推論を評価するための総合的なベンチマークを提供する。 このコーパスをベースとして,デュアルブランチ・ビジュアルエンコーダと概念保存トークン圧縮を備えた統合MLLMである‘textbf{BreastGPT} を提案し,標準放射線学とギガピクセル病理学のスケールギャップを埋める。 BreastStage-Benchでは、BreastGPTは75.66\%のクローズドエンドの精度と89.92\%のオープンエンドのスコアを達成し、臨床段階とタスクのフォーマットで汎用MLLMと医療固有のMLLMの両方を上回っている。 以上の結果から,ワークフローアラインデータとクロススケールビジュアルモデリングが臨床応用MLLMにとって重要であることが示唆された。 すべてのデータ、コード、モデルチェックポイントはhttps://yangyy-liu.github.io/BreastGPT.ioでリリースされる。

関連論文リスト

• Epistemic-aware Vision-Language Foundation Model for Fetal Ultrasound Interpretation [83.02147613524032]
  医療用AIシステムFetalMindについて報告する。 本稿では、専門家による2部グラフをモデルに注入し、ビュー・ディスリーズ関連を分離するSED(Salient Epistemic Disentanglement)を提案する。 FetalMindはすべての妊娠期のオープンソースおよびクローズドソースベースラインを上回り、平均利得は+14%、臨界条件では+61.2%高い。
  論文  参考訳（メタデータ） (2025-10-14T19:57:03Z)
• A Versatile Foundation Model for AI-enabled Mammogram Interpretation [36.48796962019666]
  VersaMammoは制限を克服するために設計されたマンモグラムの汎用基盤モデルである。 まず,教師モデルは自己教師型学習を用いて学習し,ラベルのないマンモグラムから伝達可能な特徴を抽出する。 そして、教師付き学習と知識蒸留を組み合わせることで、特徴と臨床知識の両方をVersaMammoに転送する。
  論文  参考訳（メタデータ） (2025-09-24T16:04:39Z)
• Cross-Attention Multimodal Fusion for Breast Cancer Diagnosis: Integrating Mammography and Clinical Data with Explainability [0.0]
  現在のコンピュータ支援システムはマンモグラムの特徴しか利用していない。 臨床的特徴は乳腺病変の分類を著しく向上させるか? 説明可能なAIアプローチは、乳がんの診断に使用されるモデルの解釈可能性と信頼性を改善するにはどうすればよいのか?
  論文  参考訳（メタデータ） (2025-08-21T23:23:06Z)
• Mammo-SAE: Interpreting Breast Cancer Concept Learning with Sparse Autoencoders [7.23389716633927]
  医療画像などの高分解能領域では、解釈可能性が重要である。 Sparse Autoencoder (SAE) を用いた乳房画像の解釈性について紹介する。
  論文  参考訳（メタデータ） (2025-07-21T03:59:21Z)
• Pathological Prior-Guided Multiple Instance Learning For Mitigating Catastrophic Forgetting in Breast Cancer Whole Slide Image Classification [50.899861205016265]
  乳癌のWSI分類における破滅的忘れを緩和する新しい枠組みであるPaGMILを提案する。 私たちのフレームワークでは、共通のMILモデルアーキテクチャに2つの重要なコンポーネントを導入しています。 複数の乳がんデータセットを対象としたPaGMILの連続学習性能の評価を行った。
  論文  参考訳（メタデータ） (2025-03-08T04:51:58Z)
• End-to-End Breast Cancer Radiotherapy Planning via LMMs with Consistency Embedding [47.360760580820966]
  放射線腫瘍学の分野に適した包括的大規模マルチモーダルモデル(LMM)であるRO-LMMを提案する。 このモデルは臨床ワークフロー内の一連のタスクを効果的に管理し、臨床コンテキストの要約、放射線治療計画の提案、計画誘導されたターゲットボリュームセグメンテーションを含む。 クリーン入力処理の整合性を維持しつつ,LMMのノイズ入力に対する堅牢性を向上する,CEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
  論文  参考訳（メタデータ） (2023-11-27T14:49:06Z)
• Advancing Radiograph Representation Learning with Masked Record Modeling [52.04899592688968]
  我々は2つの相補的な目的として自己と報告の補完を定式化し、マスク付きレコードモデリング(MRM)に基づく統一的な枠組みを提案する。 MRMは、知識強化されたセマンティック表現を学ぶためのマルチタスクスキームに従って、マスクされた画像パッチとマスクされたレポートトークンを再構築する。 具体的には、MRMはラベル効率の良い微調整において優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T18:33:32Z)
• Multimodal Breast Lesion Classification Using Cross-Attention Deep Networks [0.08635315042809139]
  ほとんどのコンピュータ支援システムは乳腺病変を分類するためにマンモグラム機能のみに依存している。 本稿では, マンモグラムと分類学的臨床変数を組み合わせるために, 特徴連結, 交差注意, 共同注意に基づく複数のマルチモーダルディープネットワークについて検討する。
  論文  参考訳（メタデータ） (2021-08-21T23:01:31Z)
• Two-stage multi-scale breast mass segmentation for full mammogram analysis without user intervention [2.7490008316742096]
  マンモグラフィーは乳がんの早期発見と診断に使用される主要な画像モダリティである。 各種の乳腺異常のうち,乳腺癌では腫瘤が最も重要な臨床所見である。 高分解能フルマンモグラムから正確な質量輪郭を提供する2段階のマルチスケールパイプラインを提案する。
  論文  参考訳（メタデータ） (2020-02-27T13:16:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。