論文の概要: Generalizing Surgical Instruments Segmentation to Unseen Domains with
One-to-Many Synthesis
- arxiv url: http://arxiv.org/abs/2306.16285v1
- Date: Wed, 28 Jun 2023 15:06:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 13:46:40.480024
- Title: Generalizing Surgical Instruments Segmentation to Unseen Domains with
One-to-Many Synthesis
- Title(参考訳): ワン・ツー・マニー合成による手術器具の領域分割の一般化
- Authors: An Wang, Mobarakol Islam, Mengya Xu, Hongliang Ren
- Abstract要約: ディープラーニングの手法は、実世界の外科的応用への展開を妨げることが多い。
データ収集、アノテーション、ドメインシフトは、最も一般的な障害である。
我々は、最小限のソースイメージを効率よく活用して、合成外科用機器セグメンテーションデータセットを生成することにより、データ関連の問題を緩和する。
- 参考スコア(独自算出の注目度): 18.830738606514736
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their impressive performance in various surgical scene understanding
tasks, deep learning-based methods are frequently hindered from deploying to
real-world surgical applications for various causes. Particularly, data
collection, annotation, and domain shift in-between sites and patients are the
most common obstacles. In this work, we mitigate data-related issues by
efficiently leveraging minimal source images to generate synthetic surgical
instrument segmentation datasets and achieve outstanding generalization
performance on unseen real domains. Specifically, in our framework, only one
background tissue image and at most three images of each foreground instrument
are taken as the seed images. These source images are extensively transformed
and employed to build up the foreground and background image pools, from which
randomly sampled tissue and instrument images are composed with multiple
blending techniques to generate new surgical scene images. Besides, we
introduce hybrid training-time augmentations to diversify the training data
further. Extensive evaluation on three real-world datasets, i.e., Endo2017,
Endo2018, and RoboTool, demonstrates that our one-to-many synthetic surgical
instruments datasets generation and segmentation framework can achieve
encouraging performance compared with training with real data. Notably, on the
RoboTool dataset, where a more significant domain gap exists, our framework
shows its superiority of generalization by a considerable margin. We expect
that our inspiring results will attract research attention to improving model
generalization with data synthesizing.
- Abstract(参考訳): 様々な手術シーン理解タスクにおける優れたパフォーマンスにもかかわらず、深層学習に基づく手法は、様々な原因のために実世界の外科的応用に展開することを妨げることが多い。
特に、サイトと患者の間のデータ収集、アノテーション、ドメインシフトが最も一般的な障害です。
本研究では,最小限のソースイメージを有効活用して,合成手術器具セグメンテーションデータセットを生成することにより,データ関連の問題を軽減し,目に見えない実領域における優れた一般化性能を実現する。
具体的には,1つの背景組織像と,各前景楽器の少なくとも3つの画像のみをシード画像とする。
これらのソース画像は、前景と背景画像プールを構築するために広範囲に変換され、ランダムにサンプリングされた組織と楽器の画像を複数のブレンディング技術で合成し、新しい手術シーン画像を生成する。
さらに,トレーニングデータの多様化を図るために,ハイブリッドなトレーニング時間拡張も導入する。
Endo2017、Endo2018、RoboToolの3つの実世界のデータセットに対する広範囲な評価は、我々の1対多の人工外科用データセットの生成とセグメンテーションフレームワークが実際のデータによるトレーニングと比較して、奨励的なパフォーマンスを達成することを実証している。
特に、より重要なドメインギャップが存在するRoboToolデータセットでは、我々のフレームワークは、かなりのマージンで一般化の優位性を示している。
我々は、データ合成によるモデル一般化の改善に研究の関心を惹きつけることを期待している。
関連論文リスト
- Diffusion-based Data Augmentation for Nuclei Image Segmentation [68.28350341833526]
核セグメンテーションのための拡散法を初めて導入する。
このアイデアは、多数のラベル付き画像を合成し、セグメンテーションモデルを訓練することを目的としている。
実験の結果,10%のラベル付き実データセットを合成サンプルで拡張することにより,同等のセグメンテーション結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-10-22T06:16:16Z) - Perceptual Artifacts Localization for Image Synthesis Tasks [59.638307505334076]
我々は10,168個の画像からなる新しいデータセットを導入し,それぞれに知覚的アーティファクトラベルを付加した。
提案したデータセットに基づいてトレーニングされたセグメンテーションモデルは、さまざまなタスクにまたがるアーティファクトを効果的にローカライズする。
生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。
論文 参考訳(メタデータ) (2023-10-09T10:22:08Z) - Deep Learning-based Bio-Medical Image Segmentation using UNet
Architecture and Transfer Learning [0.0]
我々は,UNetアーキテクチャをスクラッチから実装し,バイオメディカル画像データセットの性能を評価する。
変換学習モデルは、スクラッチから実装されたUNetモデルよりも、画像セグメンテーションにおいて優れた性能を有することを示す。
論文 参考訳(メタデータ) (2023-05-24T07:45:54Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳(メタデータ) (2023-03-24T03:32:02Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳(メタデータ) (2023-03-01T23:37:45Z) - Rethinking Surgical Instrument Segmentation: A Background Image Can Be
All You Need [18.830738606514736]
データ不足と不均衡はモデルの精度に大きな影響を与え、ディープラーニングベースの手術アプリケーションの設計と展開を制限してきた。
本稿では,ロボット手術によるデータ収集とアノテーションの複雑で高価なプロセスを排除する,1対多のデータ生成ソリューションを提案する。
経験的分析から,高コストなデータ収集とアノテーションがなければ,適切な手術器具のセグメンテーション性能が達成できることが示唆された。
論文 参考訳(メタデータ) (2022-06-23T16:22:56Z) - Reducing Annotating Load: Active Learning with Synthetic Images in
Surgical Instrument Segmentation [11.705954708866079]
ロボット支援手術の内視鏡視における計測器のセグメンテーションは,装置の反射や組織との頻繁な接触により困難である。
ディープニューラルネットワーク(DNN)は競争力があり、近年は好まれている。
この作業量を緩和することで、ラベル付き実画像の使用を減らし、汎用的な埋め込み可能な手法を提案する。
論文 参考訳(メタデータ) (2021-08-07T22:30:53Z) - Semantic Segmentation with Generative Models: Semi-Supervised Learning
and Strong Out-of-Domain Generalization [112.68171734288237]
本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。
我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。
ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
論文 参考訳(メタデータ) (2021-04-12T21:41:25Z) - Multi-Spectral Image Synthesis for Crop/Weed Segmentation in Precision
Farming [3.4788711710826083]
本稿では, 精密農業における作物・雑草の分枝化問題に適用し, 共通データ増分法に関する代替手法を提案する。
我々は、最も関連性の高いオブジェクトクラス(作物や雑草)を合成されたクラスに置き換えることで、半人工的なサンプルを作成する。
RGBデータに加えて、近赤外(NIR)情報も考慮し、4つのチャネルマルチスペクトル合成画像を生成する。
論文 参考訳(メタデータ) (2020-09-12T08:49:36Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳(メタデータ) (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。