論文の概要: TextBraTS: Text-Guided Volumetric Brain Tumor Segmentation with Innovative Dataset Development and Fusion Module Exploration

• arxiv url: http://arxiv.org/abs/2506.16784v2
• Date: Mon, 23 Jun 2025 17:15:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 12:48:19.154998
• Title: TextBraTS: Text-Guided Volumetric Brain Tumor Segmentation with Innovative Dataset Development and Fusion Module Exploration
• Title（参考訳）: TextBraTS:イノベーティブデータセット開発と融合モジュール探索によるテキストガイド付体積脳腫瘍分離
• Authors: Xiaoyu Shi, Rahul Kumar Jain, Yinhao Li, Ruibo Hou, Jingliang Cheng, Jie Bai, Guohua Zhao, Lanfen Lin, Rui Xu, Yen-wei Chen,
• Abstract要約: 我々は、ペア化されたMRIボリュームとリッチなテキストアノテーションを含む、初めて公開されたボリュームレベルのマルチモーダルデータセットであるTextBraTSデータセットを紹介する。 提案手法は,脳腫瘍のセグメンテーション精度を大幅に向上させ,効果的なマルチモーダル統合技術に関する貴重な知見を提供する。
• 参考スコア（独自算出の注目度）: 17.408476262703086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has demonstrated remarkable success in medical image segmentation and computer-aided diagnosis. In particular, numerous advanced methods have achieved state-of-the-art performance in brain tumor segmentation from MRI scans. While recent studies in other medical imaging domains have revealed that integrating textual reports with visual data can enhance segmentation accuracy, the field of brain tumor analysis lacks a comprehensive dataset that combines radiological images with corresponding textual annotations. This limitation has hindered the exploration of multimodal approaches that leverage both imaging and textual data. To bridge this critical gap, we introduce the TextBraTS dataset, the first publicly available volume-level multimodal dataset that contains paired MRI volumes and rich textual annotations, derived from the widely adopted BraTS2020 benchmark. Building upon this novel dataset, we propose a novel baseline framework and sequential cross-attention method for text-guided volumetric medical image segmentation. Through extensive experiments with various text-image fusion strategies and templated text formulations, our approach demonstrates significant improvements in brain tumor segmentation accuracy, offering valuable insights into effective multimodal integration techniques. Our dataset, implementation code, and pre-trained models are publicly available at https://github.com/Jupitern52/TextBraTS.
• Abstract（参考訳）: 深層学習は医用画像分割とコンピュータ支援診断において顕著な成功を収めた。 特に、多くの高度な手法がMRIスキャンによる脳腫瘍のセグメント化において最先端のパフォーマンスを実現している。 その他の医用画像領域における最近の研究では、画像データとテキストレポートを統合することでセグメンテーションの精度が向上することが示されたが、脳腫瘍解析の分野には、放射線画像と対応するテキストアノテーションを組み合わせた包括的なデータセットが欠如している。 この制限は、画像データとテキストデータの両方を活用するマルチモーダルアプローチの探索を妨げる。 この致命的なギャップを埋めるために、広く採用されているBraTS2020ベンチマークから派生したペアMRIボリュームとリッチテキストアノテーションを含む、初めて公開されたボリュームレベルのマルチモーダルデータセットであるTextBraTSデータセットを紹介した。 この新たなデータセットに基づいて,テキスト誘導ボリューム画像分割のための新しいベースラインフレームワークとシーケンシャルなクロスアテンション手法を提案する。 様々なテキスト画像融合戦略とテンプレートテキストの定式化による広範な実験を通じて,脳腫瘍のセグメンテーション精度が大幅に向上し,効果的なマルチモーダル統合技術に関する貴重な知見が得られた。 データセット、実装コード、事前トレーニング済みモデルはhttps://github.com/Jupitern52/TextBraTS.comで公開されています。

関連論文リスト

• Zeus: Zero-shot LLM Instruction for Union Segmentation in Multimodal Medical Imaging [4.341503087761129]
  マルチモーダル学習の実行には、ソリューションとして示される視覚とテキストのモダリティが含まれるが、ペア化されたビジョン言語データセットの収集は高価で時間を要する。 大規模言語モデル(LLM)における多くのクロスモーダルタスクの優れた能力に触発されて、我々はこの問題に対処する新しいビジョン・LLM統合フレームワークを提案しました。
  論文  参考訳（メタデータ） (2025-04-09T23:33:35Z)
• MRGen: Segmentation Data Engine For Underrepresented MRI Modalities [59.61465292965639]
  稀ながら臨床的に重要な画像モダリティのための医用画像分割モデルの訓練は、注釈付きデータの不足により困難である。 本稿では、生成モデルを利用してトレーニングデータを合成し、未表現のモダリティに対するセグメンテーションモデルを訓練する。
  論文  参考訳（メタデータ） (2024-12-04T16:34:22Z)
• MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation [2.2585213273821716]
  MedCLIP-SAMv2はCLIPとSAMモデルを統合して臨床スキャンのセグメンテーションを行う新しいフレームワークである。 提案手法は,DHN-NCE(Decoupled Hard Negative Noise Contrastive Estimation)によるBiomedCLIPモデルの微調整を含む。 また,ゼロショットセグメンテーションラベルを弱教師付きパラダイム内で使用することにより,セグメンテーション品質をさらに向上する。
  論文  参考訳（メタデータ） (2024-09-28T23:10:37Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [72.8965643836841]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
  本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。 中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
  論文  参考訳（メタデータ） (2022-01-07T07:46:01Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。