論文の概要: Medical Visual Prompting (MVP): A Unified Framework for Versatile and High-Quality Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2404.01127v1
- Date: Mon, 1 Apr 2024 14:06:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 22:15:37.799369
- Title: Medical Visual Prompting (MVP): A Unified Framework for Versatile and High-Quality Medical Image Segmentation
- Title(参考訳): 医用ビジュアルプロンプティング(MVP) : Versatile and High-Quality Medical Image Segmentationのための統一フレームワーク
- Authors: Yulin Chen, Guoheng Huang, Kai Huang, Zijin Lin, Guo Zhong, Shenghong Luo, Jie Deng, Jian Zhou,
- Abstract要約: 自然言語処理(NLP)の概念を事前学習・促進する医用ビジュアルプロンプト(MVP)フレームワークを提案する。
MVPにより、セグメンテーションネットワークは、情報を促進する形状をよりよく学習し、異なるタスク間での相互学習を促進することができる。
この新しい枠組みは、より少ないパラメータで性能を向上し、様々な医療課題における病変領域の正確なセグメンテーションに有意な可能性を秘めている。
- 参考スコア(独自算出の注目度): 15.460598807078751
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate segmentation of lesion regions is crucial for clinical diagnosis and treatment across various diseases. While deep convolutional networks have achieved satisfactory results in medical image segmentation, they face challenges such as loss of lesion shape information due to continuous convolution and downsampling, as well as the high cost of manually labeling lesions with varying shapes and sizes. To address these issues, we propose a novel medical visual prompting (MVP) framework that leverages pre-training and prompting concepts from natural language processing (NLP). The framework utilizes three key components: Super-Pixel Guided Prompting (SPGP) for superpixelating the input image, Image Embedding Guided Prompting (IEGP) for freezing patch embedding and merging with superpixels to provide visual prompts, and Adaptive Attention Mechanism Guided Prompting (AAGP) for pinpointing prompt content and efficiently adapting all layers. By integrating SPGP, IEGP, and AAGP, the MVP enables the segmentation network to better learn shape prompting information and facilitates mutual learning across different tasks. Extensive experiments conducted on five datasets demonstrate superior performance of this method in various challenging medical image tasks, while simplifying single-task medical segmentation models. This novel framework offers improved performance with fewer parameters and holds significant potential for accurate segmentation of lesion regions in various medical tasks, making it clinically valuable.
- Abstract(参考訳): 病変領域の正確なセグメンテーションは、様々な疾患の臨床的診断と治療に不可欠である。
深層畳み込みネットワークは, 医用画像のセグメンテーションにおいて良好な結果を得たが, 連続的畳み込みやダウンサンプリングによる病変形状情報の喪失や, 形状や大きさの異なる病変を手作業でラベル付けするコストといった課題に直面している。
これらの課題に対処するため,我々は,自然言語処理(NLP)の概念を事前学習・促進する新しい医用ビジュアル・プロンプト(MVP)フレームワークを提案する。
このフレームワークは、3つの重要なコンポーネントを利用している: 入力画像のスーパーピクセル化のためのSuper-Pixel Guided Prompting(SPGP)、パッチの埋め込みとスーパーピクセルとのマージを凍結するImage Embedding Guided Prompting(IEGP)、そして、プロンプトをピンポイントし、すべてのレイヤを効率的に適応するためのAdaptive Attention Mechanism Guided Prompting(AAGP)である。
SPGP、IEGP、AAGPを統合することにより、MVPはセグメンテーションネットワークにおいて、情報伝達の形状をよりよく学習し、異なるタスク間での相互学習を容易にする。
5つのデータセットで実施した大規模な実験は、単一タスクの医用セグメンテーションモデルを簡素化しながら、様々な困難な医療画像タスクにおいて、この手法の優れた性能を示す。
この新しいフレームワークは、より少ないパラメータでパフォーマンスを改善し、様々な医療課題における病変領域の正確なセグメンテーションに有意義な可能性を秘めており、臨床的に価値のあるものとなっている。
関連論文リスト
- MOSMOS: Multi-organ segmentation facilitated by medical report supervision [10.396987980136602]
マルチオーガンスーパービジョン(MOS)のための新しい事前学習・微調整フレームワークを提案する。
具体的には、まず、トレーニング前の段階で、医用画像とレポートのペアを合わせるために、グローバルコントラスト学習を導入する。
さらに,画像画素と臓器タグ間の意味的対応を暗黙的に学習するために,マルチラベル認識を活用する。
論文 参考訳(メタデータ) (2024-09-04T03:46:17Z) - A self-supervised framework for learning whole slide representations [52.774822784847565]
我々は、全スライド画像のギガピクセルスケールの自己スーパービジョンのためのSlide Pre-trained Transformer (SPT)を提案する。
バイオメディカル・マイクロスコープ・データセットを用いて,5つの診断課題におけるSPT視覚表現のベンチマークを行った。
論文 参考訳(メタデータ) (2024-02-09T05:05:28Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。
半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文 参考訳(メタデータ) (2023-12-26T12:56:31Z) - Feature Enhancer Segmentation Network (FES-Net) for Vessel Segmentation [19.455350961592742]
本稿では,画像強調ステップを必要とせずに正確な画素分割を実現する機能拡張セグメンテーションネットワーク(FES-Net)を提案する。
FES-Netは入力画像を直接処理し、ダウンサンプリング中に4つのプロンプト畳み込みブロック(PCB)を利用する。
DRIVE, STARE, CHASE, HRFの4つの公開技術データセット上でのFES-Netの性能を評価する。
論文 参考訳(メタデータ) (2023-09-07T07:46:46Z) - A hybrid approach for improving U-Net variants in medical image
segmentation [0.0]
医学的イメージを様々なセグメントや興味のある領域に分割する技術は、医学的イメージセグメンテーションとして知られている。
生成されたセグメント画像は、診断、手術計画、治療評価など、さまざまな用途に利用することができる。
本研究の目的は,深層的に分離可能な畳み込みを用いたネットワークパラメータ要求の低減である。
論文 参考訳(メタデータ) (2023-07-31T07:43:45Z) - ScribbleVC: Scribble-supervised Medical Image Segmentation with
Vision-Class Embedding [5.425414924685109]
ScribbleVCは、スクリブル管理された医療画像セグメンテーションのための新しいフレームワークである。
提案手法は,スクリブルベースアプローチとセグメンテーションネットワークとクラス埋め込みモジュールを組み合わせることで,正確なセグメンテーションマスクを生成する。
ScribbleVCを3つのベンチマークデータセットで評価し、最先端の手法と比較する。
論文 参考訳(メタデータ) (2023-07-30T13:38:52Z) - Scale-aware Super-resolution Network with Dual Affinity Learning for
Lesion Segmentation from Medical Images [50.76668288066681]
低解像度医用画像から様々な大きさの病変を適応的に分割する,スケールアウェアな超解像ネットワークを提案する。
提案するネットワークは,他の最先端手法と比較して一貫した改善を実現した。
論文 参考訳(メタデータ) (2023-05-30T14:25:55Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳(メタデータ) (2023-01-12T08:19:46Z) - Cross-level Contrastive Learning and Consistency Constraint for
Semi-supervised Medical Image Segmentation [46.678279106837294]
半教師型医用画像セグメンテーションにおける局所特徴の表現能力を高めるためのクロスレベルコンストラシティブ学習手法を提案する。
クロスレベルなコントラスト学習と一貫性制約の助けを借りて、非ラベル付きデータを効果的に探索してセグメンテーション性能を向上させることができる。
論文 参考訳(メタデータ) (2022-02-08T15:12:11Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。