論文の概要: Self-Prompting Polyp Segmentation in Colonoscopy using Hybrid Yolo-SAM 2 Model
- arxiv url: http://arxiv.org/abs/2409.09484v1
- Date: Sat, 14 Sep 2024 17:11:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 20:37:27.347696
- Title: Self-Prompting Polyp Segmentation in Colonoscopy using Hybrid Yolo-SAM 2 Model
- Title(参考訳): ハイブリッドYolo-SAM 2モデルを用いた大腸内視鏡の自己プロンピングポリプセグメンテーション
- Authors: Mobina Mansoori, Sajjad Shahabodini, Jamshid Abouei, Konstantinos N. Plataniotis, Arash Mohammadi,
- Abstract要約: 本稿では,Segment Anything Model(SAM2)とYOLOv8モデルを統合することで,ポリプセグメンテーションの新たなアプローチを提案する。
本手法では,YOLOv8のバウンディングボックス予測を利用してSAM 2の入力プロンプトを自動生成することで,手動アノテーションの必要性を軽減している。
われわれは,5つのベンチマーク大腸内視鏡画像データセットと2つの大腸内視鏡ビデオデータセットの徹底的な試験を行い,この手法が画像分割タスクおよびビデオ分割タスクの最先端モデルを上回ることを示した。
- 参考スコア(独自算出の注目度): 18.61909523131399
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Early diagnosis and treatment of polyps during colonoscopy are essential for reducing the incidence and mortality of Colorectal Cancer (CRC). However, the variability in polyp characteristics and the presence of artifacts in colonoscopy images and videos pose significant challenges for accurate and efficient polyp detection and segmentation. This paper presents a novel approach to polyp segmentation by integrating the Segment Anything Model (SAM 2) with the YOLOv8 model. Our method leverages YOLOv8's bounding box predictions to autonomously generate input prompts for SAM 2, thereby reducing the need for manual annotations. We conducted exhaustive tests on five benchmark colonoscopy image datasets and two colonoscopy video datasets, demonstrating that our method exceeds state-of-the-art models in both image and video segmentation tasks. Notably, our approach achieves high segmentation accuracy using only bounding box annotations, significantly reducing annotation time and effort. This advancement holds promise for enhancing the efficiency and scalability of polyp detection in clinical settings https://github.com/sajjad-sh33/YOLO_SAM2.
- Abstract(参考訳): 大腸内視鏡検査におけるポリープの早期診断と治療は大腸癌(CRC)の発生率と死亡率の低下に不可欠である。
しかし, 大腸内視鏡画像やビデオにおけるポリープ特性の変化とアーティファクトの存在は, 正確かつ効率的なポリープ検出とセグメンテーションにおいて重要な課題となっている。
本稿では,Segment Anything Model(SAM2)とYOLOv8モデルを統合することで,ポリプセグメンテーションの新たなアプローチを提案する。
本手法では,YOLOv8のバウンディングボックス予測を利用してSAM 2の入力プロンプトを自動生成することで,手動アノテーションの必要性を軽減している。
われわれは,5つのベンチマーク大腸内視鏡画像データセットと2つの大腸内視鏡ビデオデータセットの徹底的な試験を行い,この手法が画像分割タスクおよびビデオ分割タスクの最先端モデルを上回ることを示した。
特に,本手法は境界ボックスアノテーションのみを用いて高いセグメンテーション精度を実現し,アノテーションの時間と労力を大幅に削減する。
この進歩は、臨床設定 https://github.com/sajjad-sh33/YOLO_SAM2 におけるポリプ検出の効率性とスケーラビリティの向上を約束している。
関連論文リスト
- Polyp SAM 2: Advancing Zero shot Polyp Segmentation in Colorectal Cancer Detection [18.61909523131399]
ポリープ分画は大腸癌の早期発見と診断において重要な役割を担っている。
最近、Meta AI Researchは、いくつかのセグメンテーションタスクで有望なパフォーマンスを示す一般的なセグメンテーションモデル2(SAM2)をリリースした。
そこで本論文では,各種刺激条件下でのセグメンテーションポリプにおけるSAM2の性能評価を行った。
論文 参考訳(メタデータ) (2024-08-12T02:10:18Z) - ASPS: Augmented Segment Anything Model for Polyp Segmentation [77.25557224490075]
SAM(Segment Anything Model)は、ポリープセグメンテーションに先例のないポテンシャルを導入している。
SAMのTransformerベースの構造は、グローバルおよび低周波情報を優先する。
CFAはトレーニング可能なCNNエンコーダブランチと凍結したViTエンコーダを統合し、ドメイン固有の知識の統合を可能にする。
論文 参考訳(メタデータ) (2024-06-30T14:55:32Z) - ECC-PolypDet: Enhanced CenterNet with Contrastive Learning for Automatic
Polyp Detection [88.4359020192429]
既存の手法では、計算コストのかかるコンテキストアグリゲーションが伴うか、ポリープの事前モデリングが欠如しているため、難解なケースでは性能が低下する。
本稿では,2段階のトレーニングとエンドツーエンド推論フレームワークである Enhanced CenterNet with Contrastive Learning (ECC-PolypDet) を提案する。
Box-assisted Contrastive Learning (BCL) は, クラス内差を最小限に抑え, 前庭ポリープと背景のクラス間差を最大化するため, 隠れポリープを捕捉する。
微調整段階におけるIoU誘導サンプル再重み付けの導入
論文 参考訳(メタデータ) (2024-01-10T07:03:41Z) - Polyp-SAM: Transfer SAM for Polyp Segmentation [2.4492242722754107]
Segment Anything Model (SAM)は、最近、自然画像のセグメンテーションと医療画像のセグメンテーションに大きな注目を集めている。
ポリプセグメンテーションのための微調整SAMモデルであるPoly-SAMを提案し、その性能をいくつかの最先端のポリプセグメンテーションモデルと比較する。
我々のPolyp-SAMは、2つのデータセットで最先端のパフォーマンスを実現し、3つのデータセットで印象的なパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2023-04-29T16:11:06Z) - Lesion-aware Dynamic Kernel for Polyp Segmentation [49.63274623103663]
ポリープセグメンテーションのための障害対応動的ネットワーク(LDNet)を提案する。
従来のU字型エンコーダ・デコーダ構造であり、動的カーネル生成と更新スキームが組み込まれている。
この単純だが効果的なスキームは、我々のモデルに強力なセグメンテーション性能と一般化能力を与える。
論文 参考訳(メタデータ) (2023-01-12T09:53:57Z) - BoxPolyp:Boost Generalized Polyp Segmentation Using Extra Coarse
Bounding Box Annotations [79.17754846553866]
我々は、正確なマスクと余分な粗いボックスアノテーションをフル活用するための強化されたBoxPolypモデルを提案する。
実際には、従来のポリプセグメンテーションモデルの過度に適合する問題を緩和するためにボックスアノテーションが適用される。
提案手法は従来の最先端手法よりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2022-12-07T07:45:50Z) - Stepwise Feature Fusion: Local Guides Global [14.394421688712052]
本稿では,ピラミッドトランスフォーマーエンコーダを用いた医用画像セグメンテーションのためのState-Of-The-Artモデルを提案する。
提案するプログレッシブ・ローカリティ・デコーダをピラミッドトランスフォーマーのバックボーンに適応させて,局所的特徴と注意分散を強調する。
論文 参考訳(メタデータ) (2022-03-07T10:36:38Z) - Advances in Artificial Intelligence to Reduce Polyp Miss Rates during
Colonoscopy [0.7619404259039283]
本稿では,polypセグメンテーションの最先端性能を実現する,新しいディープニューラルネットワークアーキテクチャを提案する。
本アルゴリズムは大腸内視鏡検査に応用でき,ポリープの欠落を減らして消化器科医を支援することができる。
論文 参考訳(メタデータ) (2021-05-16T16:10:32Z) - AG-CUResNeSt: A Novel Method for Colon Polyp Segmentation [0.0]
本稿では、ロバストなResNeStバックボーンとアテンションゲートを用いて結合ユニセットを強化するAG-CUResNeStと呼ばれる新しいニューラルネットワークアーキテクチャを提案する。
提案手法は既存手法と比較して最先端の精度を実現する。
論文 参考訳(メタデータ) (2021-05-02T06:36:36Z) - Colonoscopy Polyp Detection: Domain Adaptation From Medical Report
Images to Real-time Videos [76.37907640271806]
大腸内視鏡画像と実時間映像の領域間ギャップに対処する画像-ビデオ結合型ポリープ検出ネットワーク(Ivy-Net)を提案する。
収集したデータセットの実験は、Ivy-Netが大腸内視鏡ビデオで最先端の結果を達成することを示した。
論文 参考訳(メタデータ) (2020-12-31T10:33:09Z) - PraNet: Parallel Reverse Attention Network for Polyp Segmentation [155.93344756264824]
大腸内視鏡画像の高精度なポリープ分割のための並列リバースアテンションネットワーク(PraNet)を提案する。
並列部分復号器(PPD)を用いて,まず高層層に特徴を集約する。
さらに,エリアとバウンダリの関連性を確立するために,リバースアテンション(RA)モジュールを用いて境界キューをマイニングする。
論文 参考訳(メタデータ) (2020-06-13T08:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。