論文の概要: PE-MED: Prompt Enhancement for Interactive Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2308.13746v1
- Date: Sat, 26 Aug 2023 03:11:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 19:26:49.828027
- Title: PE-MED: Prompt Enhancement for Interactive Medical Image Segmentation
- Title（参考訳）: PE-MED:インタラクティブな医用画像分割のためのプロンプトエンハンスメント
- Authors: Ao Chang, Xing Tao, Xin Yang, Yuhao Huang, Xinrui Zhou, Jiajun Zeng,
Ruobing Huang, Dong Ni
- Abstract要約: 本稿では,対話型医用画像分割のためのプロンプトエンハンスメント(PE-MED)を備えた新しいフレームワークを提案する。
まず、最初のプロンプトに基づいて、温かい初期セグメンテーション結果を生成するセルフループ戦略を導入する。
第2に、1つのインタラクションにおいて有用な情報をマイニングするための新しいPrompt Attention Learning Module (PALM)を提案する。
- 参考スコア（独自算出の注目度）: 9.744164910887223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive medical image segmentation refers to the accurate segmentation of
the target of interest through interaction (e.g., click) between the user and
the image. It has been widely studied in recent years as it is less dependent
on abundant annotated data and more flexible than fully automated segmentation.
However, current studies have not fully explored user-provided prompt
information (e.g., points), including the knowledge mined in one interaction,
and the relationship between multiple interactions. Thus, in this paper, we
introduce a novel framework equipped with prompt enhancement, called PE-MED,
for interactive medical image segmentation. First, we introduce a Self-Loop
strategy to generate warm initial segmentation results based on the first
prompt. It can prevent the highly unfavorable scenarios, such as encountering a
blank mask as the initial input after the first interaction. Second, we propose
a novel Prompt Attention Learning Module (PALM) to mine useful prompt
information in one interaction, enhancing the responsiveness of the network to
user clicks. Last, we build a Time Series Information Propagation (TSIP)
mechanism to extract the temporal relationships between multiple interactions
and increase the model stability. Comparative experiments with other
state-of-the-art (SOTA) medical image segmentation algorithms show that our
method exhibits better segmentation accuracy and stability.
- Abstract（参考訳）: インタラクティブ・メディカル・イメージ・セグメンテーション(interactive medical image segmentation)とは、ユーザとイメージの間のインタラクション(クリックなど)を通じて、関心対象の正確なセグメンテーションを指す。
近年、豊富な注釈付きデータに依存しず、完全自動セグメンテーションよりも柔軟であるため、広く研究されている。
しかし、現在の研究は、ある相互作用にマイニングされた知識や複数の相互作用の関係を含む、ユーザが提供するプロンプト情報(例えばポイント)を十分に研究していない。
そこで本稿では,対話型医用画像セグメンテーションのための高速強調機能を備えた新しいフレームワークpe-medを提案する。
まず,最初のプロンプトに基づいてウォーム初期セグメンテーション結果を生成するための自己ループ戦略を提案する。
これは、最初の相互作用の後の最初の入力として空白マスクに遭遇するなど、非常に好ましくないシナリオを防ぐことができる。
第2に,ネットワークのユーザクリックに対する応答性を向上し,一つのインタラクションにおいて有用な情報をマイニングするための新しいPrompt Attention Learning Module (PALM)を提案する。
最後に,複数のインタラクション間の時間的関係を抽出し,モデルの安定性を高めるために,時系列情報伝達(tsip)機構を構築する。
また,SOTA (State-of-the-art Medical Image segmentation algorithm) との比較実験により,精度と安定性が向上した。
関連論文リスト
- TP-UNet: Temporal Prompt Guided UNet for Medical Image Segmentation [11.207258450032205]
スキャン画像中の臓器の順序は、UNetに基づく現在の医用画像分割アプローチでは無視されている。
本稿では,臓器構成関係を含む時間的プロンプトを利用するTP-UNetを提案し,セグメンテーションUNetモデルを導出する。
我々のフレームワークは、時間的プロンプトと画像の特徴を効果的に組み合わせるために、教師なしのコントラスト学習に基づく横断的アライメントと意味的アライメントを備えている。
論文 参考訳（メタデータ） (2024-11-18T06:01:00Z) - ScribblePrompt: Fast and Flexible Interactive Segmentation for Any Biomedical Image [4.076537350106898]
本稿では,バイオメディカルイメージングのためのフレキシブルニューラルネットワークを用いたインタラクティブセグメンテーションツールであるemphScribblePromptを紹介する。
ドメインの専門家によるユーザスタディでは、ScribblePromptはアノテーションの時間を28%削減し、Diceを15%改善した。
インタラクティブなデモでScribblePromptを紹介し、コードを提供し、https://scribbleprompt.csail.mit.eduでscribbleアノテーションのデータセットをリリースします。
論文 参考訳（メタデータ） (2023-12-12T15:57:03Z) - Disentangled Interaction Representation for One-Stage Human-Object
Interaction Detection [70.96299509159981]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。
最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。
従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
論文 参考訳（メタデータ） (2023-12-04T08:02:59Z) - InterFormer: Real-time Interactive Image Segmentation [80.45763765116175]
インタラクティブなイメージセグメンテーションにより、アノテータはセグメンテーションタスクのためのピクセルレベルのアノテーションを効率的に実行することができる。
既存のインタラクティブセグメンテーションパイプラインは、インタラクティブモデルの非効率な計算に悩まされている。
これらの問題に対処するための新しいパイプラインに従うInterFormerという手法を提案する。
論文 参考訳（メタデータ） (2023-04-06T08:57:00Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2023-01-12T08:19:46Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳（メタデータ） (2023-01-11T16:35:33Z) - Interactive Segmentation for COVID-19 Infection Quantification on
Longitudinal CT scans [40.721386089781895]
病状進行と治療に対する反応を正確に評価するためには,複数の時点にまたがる患者のCTスキャンの連続的セグメンテーションが不可欠である。
既存の医用画像の自動および対話的セグメンテーションモデルでは、単一の時点からのデータのみを使用する(静的)。
本稿では,過去の情報をすべて活用し,フォローアップスキャンのセグメンテーションを改良する,インタラクティブセグメンテーションのための新しい単一ネットワークモデルを提案する。
論文 参考訳（メタデータ） (2021-10-03T08:06:38Z) - MIDeepSeg: Minimally Interactive Segmentation of Unseen Objects from
Medical Images Using Deep Learning [15.01235930304888]
ユーザインプットとしてクリックのみを必要とすることによる高効率な深層学習に基づく対話型セグメンテーション手法を提案する。
提案フレームワークは,最先端の対話型フレームワークと比較して,ユーザインタラクションが少なく,時間も少なく,正確な結果が得られる。
論文 参考訳（メタデータ） (2021-04-25T14:15:17Z) - Multi-Stage Fusion for One-Click Segmentation [20.00726292545008]
対話型セグメンテーションのための多段階ガイダンスフレームワークを提案する。
提案フレームワークは,早期融合フレームワークと比較してパラメータ数の増加は無視できない。
論文 参考訳（メタデータ） (2020-10-19T17:07:40Z) - Towards Cross-modality Medical Image Segmentation with Online Mutual
Knowledge Distillation [71.89867233426597]
本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。
モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。
MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
論文 参考訳（メタデータ） (2020-10-04T10:25:13Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳（メタデータ） (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。