論文の概要: Handling Geometric Domain Shifts in Semantic Segmentation of Surgical RGB and Hyperspectral Images
- arxiv url: http://arxiv.org/abs/2408.15373v1
- Date: Tue, 27 Aug 2024 19:13:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 17:52:31.929305
- Title: Handling Geometric Domain Shifts in Semantic Segmentation of Surgical RGB and Hyperspectral Images
- Title（参考訳）: 外科的RGB画像とハイパースペクトル画像のセマンティックセグメンテーションにおける幾何学的領域シフトの扱い
- Authors: Silvia Seidlitz, Jan Sellner, Alexander Studier-Fischer, Alessandro Motta, Berkin Özdemir, Beat P. Müller-Stich, Felix Nickel, Lena Maier-Hein,
- Abstract要約: 本稿では,幾何学的アウト・オブ・ディストリビューションデータに直面する場合の,最先端のセマンティックセマンティックセマンティクスモデルの最初の解析を行う。
本稿では, 汎用性を高めるために, 有機移植(Organ Transplantation)と呼ばれる拡張技術を提案する。
我々の拡張技術は、RGBデータに対して最大67%、HSIデータに対して90%のSOAモデル性能を改善し、実際のOODテストデータに対して、分配内パフォーマンスのレベルでのパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 67.66644395272075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robust semantic segmentation of intraoperative image data holds promise for enabling automatic surgical scene understanding and autonomous robotic surgery. While model development and validation are primarily conducted on idealistic scenes, geometric domain shifts, such as occlusions of the situs, are common in real-world open surgeries. To close this gap, we (1) present the first analysis of state-of-the-art (SOA) semantic segmentation models when faced with geometric out-of-distribution (OOD) data, and (2) propose an augmentation technique called "Organ Transplantation", to enhance generalizability. Our comprehensive validation on six different OOD datasets, comprising 600 RGB and hyperspectral imaging (HSI) cubes from 33 pigs, each annotated with 19 classes, reveals a large performance drop in SOA organ segmentation models on geometric OOD data. This performance decline is observed not only in conventional RGB data (with a dice similarity coefficient (DSC) drop of 46 %) but also in HSI data (with a DSC drop of 45 %), despite the richer spectral information content. The performance decline increases with the spatial granularity of the input data. Our augmentation technique improves SOA model performance by up to 67 % for RGB data and 90 % for HSI data, achieving performance at the level of in-distribution performance on real OOD test data. Given the simplicity and effectiveness of our augmentation method, it is a valuable tool for addressing geometric domain shifts in surgical scene segmentation, regardless of the underlying model. Our code and pre-trained models are publicly available at https://github.com/IMSY-DKFZ/htc.
- Abstract（参考訳）: 術中画像データのロバストなセマンティックセグメンテーションは、自動手術シーン理解と自律ロボット手術を可能にすることを約束する。
モデル開発と検証は主に理想主義的な場面で行われるが、実世界の開手術では、シタスの閉塞のような幾何学的領域シフトが一般的である。
このギャップを埋めるために、(1)幾何学的アウト・オブ・ディストリビューション(OOD)データに直面した場合の、最先端(SOA)セマンティックセマンティックセマンティクスモデルの最初の分析を行い、(2)汎用性を高めるために「有機移植」と呼ばれる拡張手法を提案する。
我々は,33頭のブタの600 RGBおよびハイパースペクトルイメージング(HSI)立方体を含む6種類のOODデータセットに対する総合的検証を行い,それぞれ19のクラスで注釈を付けた結果,幾何学的OODデータに基づくSOA臓器のセグメンテーションモデルの性能低下が明らかとなった。
この性能低下は、より豊富なスペクトル情報量にもかかわらず、従来のRGBデータ(ダイス類似度係数(DSC)低下率46 %)だけでなく、HSIデータ(DSC低下率45 %)においても観測される。
入力データの空間的粒度によって性能低下が増大する。
我々の拡張技術は、RGBデータに対して最大67%、HSIデータに対して90%の性能向上を実現し、実際のOODテストデータ上での分配内パフォーマンスのレベルでの性能向上を実現します。
本手法の単純さと有効性を考えると,手術シーンセグメンテーションにおける幾何学的領域シフトに対処するための貴重なツールである。
私たちのコードと事前訓練されたモデルはhttps://github.com/IMSY-DKFZ/htc.comで公開されています。
関連論文リスト
- The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳（メタデータ） (2023-09-13T10:40:41Z) - A quality assurance framework for real-time monitoring of deep learning
segmentation models in radiotherapy [3.5752677591512487]
この研究は、品質保証フレームワークを確立するために、心臓のサブ構造セグメンテーションを例として用いている。
心電図(CT)画像と241例の心電図を用いたベンチマークデータセットを収集した。
訓練されたDenoising Autoencoder(DAE)と2つの手動特徴を利用して画像領域シフト検出器を開発した。
Dice similarity coefficient (DSC) を用いて患者ごとのセグメンテーション精度を予測するための回帰モデルを構築した。
論文 参考訳（メタデータ） (2023-05-19T14:51:05Z) - Semantic segmentation of surgical hyperspectral images under geometric
domain shifts [69.91792194237212]
本稿では、幾何学的アウト・オブ・ディストリビューション(OOD)データの存在下で、最先端のセマンティックセグメンテーションネットワークを初めて分析する。
有機移植(Organ transplantation)と呼ばれる専用の拡張技術により、一般化可能性にも対処する。
提案手法は,SOA DSCの最大67 % (RGB) と90% (HSI) を改善し,実際のOODテストデータ上での分配内性能と同等の性能を示す。
論文 参考訳（メタデータ） (2023-03-20T09:50:07Z) - AADG: Automatic Augmentation for Domain Generalization on Retinal Image
Segmentation [1.0452185327816181]
AADG(Automated Augmentation for Domain Generalization)と呼ばれるデータ操作に基づくドメイン一般化手法を提案する。
我々のAADGフレームワークは、新しいドメインを生成するデータ拡張ポリシーを効果的にサンプリングすることができる。
提案するAADGは,最先端の一般化性能を示し,既存手法より優れている。
論文 参考訳（メタデータ） (2022-07-27T02:26:01Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳（メタデータ） (2022-04-19T10:41:09Z) - 4D-OR: Semantic Scene Graphs for OR Domain Modeling [72.1320671045942]
本稿では,手術シーンを記述・要約するために意味シーングラフ(SSG)を提案する。
シーングラフのノードは、医療スタッフ、患者、医療機器など、部屋内のさまざまなアクターやオブジェクトを表す。
人工膝置換手術を10回行った4D-ORデータセットを作成した。
論文 参考訳（メタデータ） (2022-03-22T17:59:45Z) - Robust deep learning-based semantic organ segmentation in hyperspectral
images [29.342448910787773]
開腹手術で得られたスペクトル画像データに基づく全シーンのセマンティックセマンティックセマンティクスは,現在までほとんど注目されていない。
開腹手術で得られた豚のハイパースペクトルイメージング(HSI)データに基づく以下の研究課題について検討する。
完全自動手術シーン理解において,HSIは強力な画像モダリティとなる可能性が示唆された。
論文 参考訳（メタデータ） (2021-11-09T20:37:38Z) - Fader Networks for domain adaptation on fMRI: ABIDE-II study [68.5481471934606]
我々は3次元畳み込みオートエンコーダを用いて、無関係な空間画像表現を実現するとともに、ABIDEデータ上で既存のアプローチより優れていることを示す。
論文 参考訳（メタデータ） (2020-10-14T16:50:50Z) - Multi-Spectral Image Synthesis for Crop/Weed Segmentation in Precision
Farming [3.4788711710826083]
本稿では, 精密農業における作物・雑草の分枝化問題に適用し, 共通データ増分法に関する代替手法を提案する。
我々は、最も関連性の高いオブジェクトクラス(作物や雑草)を合成されたクラスに置き換えることで、半人工的なサンプルを作成する。
RGBデータに加えて、近赤外(NIR)情報も考慮し、4つのチャネルマルチスペクトル合成画像を生成する。
論文 参考訳（メタデータ） (2020-09-12T08:49:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。