論文の概要: Generalize Polyp Segmentation via Inpainting across Diverse Backgrounds and Pseudo-Mask Refinement
- arxiv url: http://arxiv.org/abs/2405.12784v1
- Date: Tue, 21 May 2024 13:29:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 13:10:09.384757
- Title: Generalize Polyp Segmentation via Inpainting across Diverse Backgrounds and Pseudo-Mask Refinement
- Title(参考訳): 塗り絵によるポリプの一般化と擬似マスク微細化
- Authors: Jiajian Ma, Fangqi Lu, Silin Huang, Song Wu, Zhen Li,
- Abstract要約: 異なる背景の病変を塗布することは、一般化問題に対処する潜在的方法である。
異なる背景にまたがってポリプを塗布できるロバストな生成モデルを導入する。
また, モデル微調整のために, 良好な整合性および硬質な合成ケースを優先するサンプル選択戦略を提案する。
- 参考スコア(独自算出の注目度): 3.320334963578652
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inpainting lesions within different normal backgrounds is a potential method of addressing the generalization problem, which is crucial for polyp segmentation models. However, seamlessly introducing polyps into complex endoscopic environments while simultaneously generating accurate pseudo-masks remains a challenge for current inpainting methods. To address these issues, we first leverage the pre-trained Stable Diffusion Inpaint and ControlNet, to introduce a robust generative model capable of inpainting polyps across different backgrounds. Secondly, we utilize the prior that synthetic polyps are confined to the inpainted region, to establish an inpainted region-guided pseudo-mask refinement network. We also propose a sample selection strategy that prioritizes well-aligned and hard synthetic cases for further model fine-tuning. Experiments demonstrate that our inpainting model outperformed baseline methods both qualitatively and quantitatively in inpainting quality. Moreover, our data augmentation strategy significantly enhances the performance of polyp segmentation models on external datasets, achieving or surpassing the level of fully supervised training benchmarks in that domain. Our code is available at https://github.com/497662892/PolypInpainter.
- Abstract(参考訳): 異なる通常の背景にある病変を塗布することは一般化問題に対処する潜在的な方法であり、これはポリープセグメンテーションモデルに不可欠である。
しかし、複雑な内視鏡環境にポリプをシームレスに導入すると同時に、正確な擬似マスクを同時に生成することは、現在の塗布方法の課題である。
これらの問題に対処するために、我々はまず、事前訓練された安定拡散インペイントとコントロールネットを活用し、異なる背景にポリプを塗布できる堅牢な生成モデルを導入する。
次に, 塗布された領域に合成ポリープを限定し, 塗布された領域誘導型擬似マスク精錬ネットワークを構築する。
また, モデル微調整のために, 良好な整合性および硬質な合成ケースを優先するサンプル選択戦略を提案する。
評価実験の結果, 塗装品質は質的にも定量的にも, ベースライン法よりも優れていた。
さらに、我々のデータ拡張戦略は、外部データセット上でのポリプセグメンテーションモデルの性能を大幅に向上させ、その領域で完全に教師付きトレーニングベンチマークのレベルを達成または超えるようにします。
私たちのコードはhttps://github.com/497662892/PolypInpainterで利用可能です。
関連論文リスト
- Polyp-SES: Automatic Polyp Segmentation with Self-Enriched Semantic Model [7.424888086388194]
本稿では,既存手法の制約に対処するため,自己富化セマンティックモデルを用いたAutomatic Polypを提案する。
まず、入力画像から一連の特徴を抽出し、ハイレベルな特徴をデコードし、初期セグメンテーションマスクを生成する。
提案する自己富化セマンティックモジュールを用いて,潜在的なセマンティクスを検索し,さらにセマンティクスを付加することで,コンテキスト理解のモデルを支援する。
論文 参考訳(メタデータ) (2024-10-02T03:34:23Z) - Domain Generalization for Endoscopic Image Segmentation by Disentangling Style-Content Information and SuperPixel Consistency [1.4991956341367338]
本稿では,インスタンス正規化とインスタンス選択白化(ISW)を用いて,ドメインの一般化を改善する手法を提案する。
本研究では,EndoUDA BarrettのEsophagusとEndoUDA polypsの2つのデータセットに対するアプローチを評価し,その性能を3つの最先端(SOTA)手法と比較した。
論文 参考訳(メタデータ) (2024-09-19T04:10:04Z) - ECC-PolypDet: Enhanced CenterNet with Contrastive Learning for Automatic
Polyp Detection [88.4359020192429]
既存の手法では、計算コストのかかるコンテキストアグリゲーションが伴うか、ポリープの事前モデリングが欠如しているため、難解なケースでは性能が低下する。
本稿では,2段階のトレーニングとエンドツーエンド推論フレームワークである Enhanced CenterNet with Contrastive Learning (ECC-PolypDet) を提案する。
Box-assisted Contrastive Learning (BCL) は, クラス内差を最小限に抑え, 前庭ポリープと背景のクラス間差を最大化するため, 隠れポリープを捕捉する。
微調整段階におけるIoU誘導サンプル再重み付けの導入
論文 参考訳(メタデータ) (2024-01-10T07:03:41Z) - Recurrent Generic Contour-based Instance Segmentation with Progressive
Learning [111.31166268300817]
本稿では,一般的な輪郭型インスタンスセグメンテーションのための新しいディープネットワークアーキテクチャ,すなわちPolySnakeを提案する。
従来のSnakeアルゴリズムに動機付け,提案したPolySnakeはより優れた,堅牢なセグメンテーション性能を実現する。
論文 参考訳(メタデータ) (2023-01-21T05:34:29Z) - Lesion-aware Dynamic Kernel for Polyp Segmentation [49.63274623103663]
ポリープセグメンテーションのための障害対応動的ネットワーク(LDNet)を提案する。
従来のU字型エンコーダ・デコーダ構造であり、動的カーネル生成と更新スキームが組み込まれている。
この単純だが効果的なスキームは、我々のモデルに強力なセグメンテーション性能と一般化能力を与える。
論文 参考訳(メタデータ) (2023-01-12T09:53:57Z) - BoxPolyp:Boost Generalized Polyp Segmentation Using Extra Coarse
Bounding Box Annotations [79.17754846553866]
我々は、正確なマスクと余分な粗いボックスアノテーションをフル活用するための強化されたBoxPolypモデルを提案する。
実際には、従来のポリプセグメンテーションモデルの過度に適合する問題を緩和するためにボックスアノテーションが適用される。
提案手法は従来の最先端手法よりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2022-12-07T07:45:50Z) - HSurf-Net: Normal Estimation for 3D Point Clouds by Learning Hyper
Surfaces [54.77683371400133]
本稿では,ノイズと密度の変動のある点群から正規性を正確に予測できるHSurf-Netという新しい正規推定手法を提案する。
実験結果から, HSurf-Netは, 合成形状データセット上での最先端性能を実現することがわかった。
論文 参考訳(メタデータ) (2022-10-13T16:39:53Z) - Learning Prior Feature and Attention Enhanced Image Inpainting [63.21231753407192]
本稿では,事前学習に基づくMasked AutoEncoder(MAE)を塗装モデルに組み込む。
マスク付き領域とマスキングされていない領域間の長距離依存性をより学習させるために,MAE の注意点を用いた手法を提案する。
論文 参考訳(メタデータ) (2022-08-03T04:32:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。