論文の概要: LSMS: Language-guided Scale-aware MedSegmentor for Medical Image Referring Segmentation
- arxiv url: http://arxiv.org/abs/2408.17347v1
- Date: Fri, 30 Aug 2024 15:22:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 14:56:24.002137
- Title: LSMS: Language-guided Scale-aware MedSegmentor for Medical Image Referring Segmentation
- Title（参考訳）: LSMS:医療画像参照セグメンテーションのための言語誘導型大規模メドセグメンタ
- Authors: Shuyi Ouyang, Jinyang Zhang, Xiangye Lin, Xilai Wang, Qingqing Chen, Yen-Wei Chen, Lanfen Lin,
- Abstract要約: 医用画像参照(MIRS)は、与えられた言語表現に基づく画像の断片化を必要とする。
LSMS(Language-guided Scale-Aware MedSegmentor)というアプローチを提案する。
LSMSは計算コストが低いすべてのデータセットで一貫してパフォーマンスが向上します。
- 参考スコア（独自算出の注目度）: 7.912408164613206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional medical image segmentation methods have been found inadequate in facilitating physicians with the identification of specific lesions for diagnosis and treatment. Given the utility of text as an instructional format, we introduce a novel task termed Medical Image Referring Segmentation (MIRS), which requires segmenting specified lesions in images based on the given language expressions. Due to the varying object scales in medical images, MIRS demands robust vision-language modeling and comprehensive multi-scale interaction for precise localization and segmentation under linguistic guidance. However, existing medical image segmentation methods fall short in meeting these demands, resulting in insufficient segmentation accuracy. In response, we propose an approach named Language-guided Scale-aware MedSegmentor (LSMS), incorporating two appealing designs: (1)~a Scale-aware Vision-Language Attention module that leverages diverse convolutional kernels to acquire rich visual knowledge and interact closely with linguistic features, thereby enhancing lesion localization capability; (2)~a Full-Scale Decoder that globally models multi-modal features across various scales, capturing complementary information between scales to accurately outline lesion boundaries. Addressing the lack of suitable datasets for MIRS, we constructed a vision-language medical dataset called Reference Hepatic Lesion Segmentation (RefHL-Seg). This dataset comprises 2,283 abdominal CT slices from 231 cases, with corresponding textual annotations and segmentation masks for various liver lesions in images. We validated the performance of LSMS for MIRS and conventional medical image segmentation tasks across various datasets. Our LSMS consistently outperforms on all datasets with lower computational costs. The code and datasets will be released.
- Abstract（参考訳）: 従来の医用画像分割法は、診断と治療のための特定の病変の特定を医師に促すのに不十分である。
テキストを指導形式として利用することにより、与えられた言語表現に基づいて画像中の特定の病変をセグメント化する必要があるMIRS(Medicical Image Referring Segmentation)と呼ばれる新しいタスクを導入する。
医用画像のさまざまな対象スケールのため、MIRSは、言語指導の下での正確な位置決めとセグメンテーションのために、堅牢な視覚言語モデリングと包括的マルチスケールインタラクションを要求する。
しかし、これらの要求を満たすために既存の医用画像分割法は不足しており、セグメント化の精度は不十分である。
言語誘導型スケール認識型MedSegmentor (LSMS) というアプローチを提案し,(1) 多様な畳み込みカーネルを利用して,豊富な視覚的知識を習得し,言語的特徴と密接な相互作用を行うことにより,病変の局所化能力を向上させる。(2) - 複数スケールのマルチモーダル特徴をグローバルにモデル化するフルスケールデコーダ。
MIRSに適したデータセットが欠如していることに対処し、RefHL-Seg(Reference Hepatic Lesion Segmentation)と呼ばれるビジョン言語医療データセットを構築した。
本データセットは,231例の腹部CTスライス2,283例からなる。
各種データセットにおけるMIRSと従来の医用画像分割作業における LSMS の性能を検証した。
LSMSは計算コストが低いすべてのデータセットで一貫してパフォーマンスが向上します。
コードとデータセットがリリースされる。
関連論文リスト
- LIMIS: Towards Language-based Interactive Medical Image Segmentation [58.553786162527686]
LIMISは、最初の純粋言語に基づく対話型医療画像分割モデルである。
我々は、Grounded SAMを医療領域に適応させ、言語に基づくモデルインタラクション戦略を設計する。
LIMISを3つの公開医療データセット上で,パフォーマンスとユーザビリティの観点から評価した。
論文 参考訳（メタデータ） (2024-10-22T12:13:47Z) - MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation [2.2585213273821716]
MedCLIP-SAMv2はCLIPとSAMモデルを統合して臨床スキャンのセグメンテーションを行う新しいフレームワークである。
提案手法は,DHN-NCE(Decoupled Hard Negative Noise Contrastive Estimation)によるBiomedCLIPモデルの微調整を含む。
また,ゼロショットセグメンテーションラベルを弱教師付きパラダイム内で使用することにより,セグメンテーション品質をさらに向上する。
論文 参考訳（メタデータ） (2024-09-28T23:10:37Z) - SM2C: Boost the Semi-supervised Segmentation for Medical Image by using Meta Pseudo Labels and Mixed Images [13.971120210536995]
医用画像のセマンティックな特徴を学習する能力を向上させるために,SM2C(Scaling-up Mix with Multi-Class)を導入した。
セグメンテーションオブジェクトの形状を多様化し、各サンプル内の意味情報を豊かにすることにより、SM2Cはそのポテンシャルを示す。
提案したフレームワークは、最先端のフレームワークよりも大幅に改善されている。
論文 参考訳（メタデータ） (2024-03-24T04:39:40Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。
半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文 参考訳（メタデータ） (2023-12-26T12:56:31Z) - Exploring Transfer Learning in Medical Image Segmentation using Vision-Language Models [0.8878802873945023]
本研究では,視覚言語モデルから2次元医用画像への移行に関する最初の体系的研究を紹介する。
VLSMは画像のみのセグメンテーションモデルと比較して競合性能を示すが、全てのVLSMは言語プロンプトから追加情報を利用するわけではない。
論文 参考訳（メタデータ） (2023-08-15T11:28:21Z) - Meta-Learners for Few-Shot Weakly-Supervised Medical Image Segmentation [2.781492199939609]
医用画像領域における弱教師付きセグメンテーションのための汎用メタラーニングフレームワークを提案する。
画像分割に適応したメタラーナーの比較分析を行った。
論文 参考訳（メタデータ） (2023-05-11T15:57:45Z) - M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical
Image Segmentation [73.10707675345253]
医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。
本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
論文 参考訳（メタデータ） (2023-03-20T06:26:49Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2023-01-12T08:19:46Z) - PCRLv2: A Unified Visual Information Preservation Framework for
Self-supervised Pre-training in Medical Image Analysis [56.63327669853693]
本稿では,ピクセルレベルの情報を高レベルなセマンティクスに明示的にエンコードするための画素復元タスクを提案する。
また,画像理解を支援する強力なツールであるスケール情報の保存についても検討する。
提案されている統合SSLフレームワークは、さまざまなタスクで自己管理されたフレームワークを超越している。
論文 参考訳（メタデータ） (2023-01-02T17:47:27Z) - Cross-level Contrastive Learning and Consistency Constraint for
Semi-supervised Medical Image Segmentation [46.678279106837294]
半教師型医用画像セグメンテーションにおける局所特徴の表現能力を高めるためのクロスレベルコンストラシティブ学習手法を提案する。
クロスレベルなコントラスト学習と一貫性制約の助けを借りて、非ラベル付きデータを効果的に探索してセグメンテーション性能を向上させることができる。
論文 参考訳（メタデータ） (2022-02-08T15:12:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。