論文の概要: Semantic segmentation of surgical hyperspectral images under geometric domain shifts

• arxiv url: http://arxiv.org/abs/2303.10972v2
• Date: Mon, 18 Sep 2023 01:31:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 00:29:06.982973
• Title: Semantic segmentation of surgical hyperspectral images under geometric domain shifts
• Title（参考訳）: 幾何学的領域シフト下における手術用ハイパースペクトル画像の意味セグメンテーション
• Authors: Jan Sellner and Silvia Seidlitz, Alexander Studier-Fischer, Alessandro Motta, Berkin \"Ozdemir, Beat Peter M\"uller-Stich, Felix Nickel, Lena Maier-Hein
• Abstract要約: 本稿では、幾何学的アウト・オブ・ディストリビューション(OOD)データの存在下で、最先端のセマンティックセグメンテーションネットワークを初めて分析する。 有機移植(Organ transplantation)と呼ばれる専用の拡張技術により、一般化可能性にも対処する。 提案手法は,SOA DSCの最大67 % (RGB) と90% (HSI) を改善し,実際のOODテストデータ上での分配内性能と同等の性能を示す。
• 参考スコア（独自算出の注目度）: 69.91792194237212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robust semantic segmentation of intraoperative image data could pave the way for automatic surgical scene understanding and autonomous robotic surgery. Geometric domain shifts, however, although common in real-world open surgeries due to variations in surgical procedures or situs occlusions, remain a topic largely unaddressed in the field. To address this gap in the literature, we (1) present the first analysis of state-of-the-art (SOA) semantic segmentation networks in the presence of geometric out-of-distribution (OOD) data, and (2) address generalizability with a dedicated augmentation technique termed "Organ Transplantation" that we adapted from the general computer vision community. According to a comprehensive validation on six different OOD data sets comprising 600 RGB and hyperspectral imaging (HSI) cubes from 33 pigs semantically annotated with 19 classes, we demonstrate a large performance drop of SOA organ segmentation networks applied to geometric OOD data. Surprisingly, this holds true not only for conventional RGB data (drop of Dice similarity coefficient (DSC) by 46 %) but also for HSI data (drop by 45 %), despite the latter's rich information content per pixel. Using our augmentation scheme improves on the SOA DSC by up to 67 % (RGB) and 90 % (HSI) and renders performance on par with in-distribution performance on real OOD test data. The simplicity and effectiveness of our augmentation scheme makes it a valuable network-independent tool for addressing geometric domain shifts in semantic scene segmentation of intraoperative data. Our code and pre-trained models are available at https://github.com/IMSY-DKFZ/htc.
• Abstract（参考訳）: 術中画像データのロバストなセマンティックセグメンテーションは、自動手術シーン理解と自律ロボット手術の道を開く可能性がある。 幾何学的領域シフトは、外科手術や坐骨閉塞のばらつきによる現実世界の手術では一般的であるが、この分野では未適応である。 このギャップに対処するために,本論文では,幾何学的アウト・オブ・ディストリビューション(ood)データの存在下で,最先端(soa)セマンティクスセグメンテーションネットワークを初めて解析し,(2)一般コンピュータビジョンコミュニティから適応した「オルガン移植」と呼ばれる専用増補技術を用いて一般化可能性を検討する。 意味的アノテーションを付した33頭のブタの600 RGBおよびハイパースペクトルイメージング(HSI)立方体からなる6種類のOODデータセットに対する総合的検証の結果, 幾何学的OODデータに適用したSOA臓器セグメントネットワークの性能低下を実証した。 驚くべきことに、これは従来のRGBデータ(Dice類似度係数(DSC)の46%)だけでなく、HSIデータ(45%)にも当てはまる。 我々の拡張スキームを使用することで、SOA DSCの最大67%(RGB)と90%(HSI)の改善が可能になり、実際のOODテストデータ上での分配内パフォーマンスと同等のパフォーマンスをレンダリングします。 本手法の単純さと有効性は,術中データのセマンティックシーンセグメンテーションにおける幾何学的領域シフトに対処するための,ネットワークに依存しない貴重なツールとなる。 私たちのコードと事前トレーニングされたモデルは、https://github.com/imsy-dkfz/htc.comから入手できます。

関連論文リスト

• Handling Geometric Domain Shifts in Semantic Segmentation of Surgical RGB and Hyperspectral Images [67.66644395272075]
  本稿では,幾何学的アウト・オブ・ディストリビューションデータに直面する場合の,最先端のセマンティックセマンティックセマンティクスモデルの最初の解析を行う。 本稿では, 汎用性を高めるために, 有機移植(Organ Transplantation)と呼ばれる拡張技術を提案する。 我々の拡張技術は、RGBデータに対して最大67%、HSIデータに対して90%のSOAモデル性能を改善し、実際のOODテストデータに対して、分配内パフォーマンスのレベルでのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-27T19:13:15Z)
• Self-Supervised Correction Learning for Semi-Supervised Biomedical Image Segmentation [84.58210297703714]
  半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。 共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。 異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2023-01-12T08:19:46Z)
• SD-LayerNet: Semi-supervised retinal layer segmentation in OCT using disentangled representation with anatomical priors [4.2663199451998475]
  網膜層セグメンテーションタスクに半教師付きパラダイムを導入する。 特に、表面位置回帰をピクセル単位で構造化されたセグメンテーションに変換するために、新しい完全微分可能なアプローチが用いられる。 並行して,ラベル付きデータの限られた量が利用できる場合に,ネットワークトレーニングを改善するための解剖学的事前セットを提案する。
  論文  参考訳（メタデータ） (2022-07-01T14:30:59Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• 4D-OR: Semantic Scene Graphs for OR Domain Modeling [72.1320671045942]
  本稿では,手術シーンを記述・要約するために意味シーングラフ(SSG)を提案する。 シーングラフのノードは、医療スタッフ、患者、医療機器など、部屋内のさまざまなアクターやオブジェクトを表す。 人工膝置換手術を10回行った4D-ORデータセットを作成した。
  論文  参考訳（メタデータ） (2022-03-22T17:59:45Z)
• Robust deep learning-based semantic organ segmentation in hyperspectral images [29.342448910787773]
  開腹手術で得られたスペクトル画像データに基づく全シーンのセマンティックセマンティックセマンティクスは,現在までほとんど注目されていない。 開腹手術で得られた豚のハイパースペクトルイメージング(HSI)データに基づく以下の研究課題について検討する。 完全自動手術シーン理解において,HSIは強力な画像モダリティとなる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-11-09T20:37:38Z)
• Towards a Computed-Aided Diagnosis System in Colonoscopy: Automatic Polyp Segmentation Using Convolution Neural Networks [10.930181796935734]
  大腸内視鏡およびカプセル内視鏡画像における病変の認識のための深層学習フレームワークを提案する。 本研究では, SfS と RGB の新規な組み合わせを提案するとともに, FCN をポリップセグメンテーションに用いた最初の研究について述べる。
  論文  参考訳（メタデータ） (2021-01-15T10:08:53Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。