論文の概要: Generalizing Surgical Instruments Segmentation to Unseen Domains with
One-to-Many Synthesis
- arxiv url: http://arxiv.org/abs/2306.16285v1
- Date: Wed, 28 Jun 2023 15:06:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 13:46:40.480024
- Title: Generalizing Surgical Instruments Segmentation to Unseen Domains with
One-to-Many Synthesis
- Title(参考訳): ワン・ツー・マニー合成による手術器具の領域分割の一般化
- Authors: An Wang, Mobarakol Islam, Mengya Xu, Hongliang Ren
- Abstract要約: ディープラーニングの手法は、実世界の外科的応用への展開を妨げることが多い。
データ収集、アノテーション、ドメインシフトは、最も一般的な障害である。
我々は、最小限のソースイメージを効率よく活用して、合成外科用機器セグメンテーションデータセットを生成することにより、データ関連の問題を緩和する。
- 参考スコア(独自算出の注目度): 18.830738606514736
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their impressive performance in various surgical scene understanding
tasks, deep learning-based methods are frequently hindered from deploying to
real-world surgical applications for various causes. Particularly, data
collection, annotation, and domain shift in-between sites and patients are the
most common obstacles. In this work, we mitigate data-related issues by
efficiently leveraging minimal source images to generate synthetic surgical
instrument segmentation datasets and achieve outstanding generalization
performance on unseen real domains. Specifically, in our framework, only one
background tissue image and at most three images of each foreground instrument
are taken as the seed images. These source images are extensively transformed
and employed to build up the foreground and background image pools, from which
randomly sampled tissue and instrument images are composed with multiple
blending techniques to generate new surgical scene images. Besides, we
introduce hybrid training-time augmentations to diversify the training data
further. Extensive evaluation on three real-world datasets, i.e., Endo2017,
Endo2018, and RoboTool, demonstrates that our one-to-many synthetic surgical
instruments datasets generation and segmentation framework can achieve
encouraging performance compared with training with real data. Notably, on the
RoboTool dataset, where a more significant domain gap exists, our framework
shows its superiority of generalization by a considerable margin. We expect
that our inspiring results will attract research attention to improving model
generalization with data synthesizing.
- Abstract(参考訳): 様々な手術シーン理解タスクにおける優れたパフォーマンスにもかかわらず、深層学習に基づく手法は、様々な原因のために実世界の外科的応用に展開することを妨げることが多い。
特に、サイトと患者の間のデータ収集、アノテーション、ドメインシフトが最も一般的な障害です。
本研究では,最小限のソースイメージを有効活用して,合成手術器具セグメンテーションデータセットを生成することにより,データ関連の問題を軽減し,目に見えない実領域における優れた一般化性能を実現する。
具体的には,1つの背景組織像と,各前景楽器の少なくとも3つの画像のみをシード画像とする。
これらのソース画像は、前景と背景画像プールを構築するために広範囲に変換され、ランダムにサンプリングされた組織と楽器の画像を複数のブレンディング技術で合成し、新しい手術シーン画像を生成する。
さらに,トレーニングデータの多様化を図るために,ハイブリッドなトレーニング時間拡張も導入する。
Endo2017、Endo2018、RoboToolの3つの実世界のデータセットに対する広範囲な評価は、我々の1対多の人工外科用データセットの生成とセグメンテーションフレームワークが実際のデータによるトレーニングと比較して、奨励的なパフォーマンスを達成することを実証している。
特に、より重要なドメインギャップが存在するRoboToolデータセットでは、我々のフレームワークは、かなりのマージンで一般化の優位性を示している。
我々は、データ合成によるモデル一般化の改善に研究の関心を惹きつけることを期待している。
関連論文リスト
- UnSeg: One Universal Unlearnable Example Generator is Enough against All Image Segmentation [64.01742988773745]
未承認のプライベートデータ上での大規模なイメージセグメンテーションモデルのトレーニングに関して、プライバシーに関する懸念が高まっている。
我々は、学習不可能な例の概念を利用して、学習不可能なノイズを原画像に生成し、付加することにより、モデルトレーニングに使用不能な画像を作成する。
6つのメインストリームイメージセグメンテーションタスク、10つの広く使われているデータセット、7つの異なるネットワークアーキテクチャでUnSegの有効性を実証的に検証する。
論文 参考訳(メタデータ) (2024-10-13T16:34:46Z) - Data Augmentation for Surgical Scene Segmentation with Anatomy-Aware Diffusion Models [1.9085155846692308]
アノテーションを用いた多段階手術データセットを生成するための多段階的アプローチを提案する。
本フレームワークは,二分節マスクを応用した臓器特異的モデルの訓練により,解剖学的意識の向上を図る。
この汎用的なアプローチにより、実際のバイナリデータセットとシミュレートされた手術マスクから、マルチクラスのデータセットを生成することができる。
論文 参考訳(メタデータ) (2024-10-10T09:29:23Z) - Discriminative Hamiltonian Variational Autoencoder for Accurate Tumor Segmentation in Data-Scarce Regimes [2.8498944632323755]
医用画像分割のためのエンドツーエンドハイブリッドアーキテクチャを提案する。
ハミルトン変分オートエンコーダ(HVAE)と識別正則化を用いて生成画像の品質を向上する。
我々のアーキテクチャはスライス・バイ・スライス・ベースで3Dボリュームを分割し、リッチな拡張データセットをカプセル化する。
論文 参考訳(メタデータ) (2024-06-17T15:42:08Z) - SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation [69.42764583465508]
我々は,地球観測における注釈付きデータの不足に対処するために,生成的画像拡散の可能性を探る。
我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。
論文 参考訳(メタデータ) (2024-03-25T10:30:22Z) - Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。
対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。
提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
論文 参考訳(メタデータ) (2024-03-23T22:32:06Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳(メタデータ) (2023-03-01T23:37:45Z) - Rethinking Surgical Instrument Segmentation: A Background Image Can Be
All You Need [18.830738606514736]
データ不足と不均衡はモデルの精度に大きな影響を与え、ディープラーニングベースの手術アプリケーションの設計と展開を制限してきた。
本稿では,ロボット手術によるデータ収集とアノテーションの複雑で高価なプロセスを排除する,1対多のデータ生成ソリューションを提案する。
経験的分析から,高コストなデータ収集とアノテーションがなければ,適切な手術器具のセグメンテーション性能が達成できることが示唆された。
論文 参考訳(メタデータ) (2022-06-23T16:22:56Z) - Reducing Annotating Load: Active Learning with Synthetic Images in
Surgical Instrument Segmentation [11.705954708866079]
ロボット支援手術の内視鏡視における計測器のセグメンテーションは,装置の反射や組織との頻繁な接触により困難である。
ディープニューラルネットワーク(DNN)は競争力があり、近年は好まれている。
この作業量を緩和することで、ラベル付き実画像の使用を減らし、汎用的な埋め込み可能な手法を提案する。
論文 参考訳(メタデータ) (2021-08-07T22:30:53Z) - Semantic Segmentation with Generative Models: Semi-Supervised Learning
and Strong Out-of-Domain Generalization [112.68171734288237]
本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。
我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。
ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
論文 参考訳(メタデータ) (2021-04-12T21:41:25Z) - Multi-Spectral Image Synthesis for Crop/Weed Segmentation in Precision
Farming [3.4788711710826083]
本稿では, 精密農業における作物・雑草の分枝化問題に適用し, 共通データ増分法に関する代替手法を提案する。
我々は、最も関連性の高いオブジェクトクラス(作物や雑草)を合成されたクラスに置き換えることで、半人工的なサンプルを作成する。
RGBデータに加えて、近赤外(NIR)情報も考慮し、4つのチャネルマルチスペクトル合成画像を生成する。
論文 参考訳(メタデータ) (2020-09-12T08:49:36Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳(メタデータ) (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。