論文の概要: Mutually improved endoscopic image synthesis and landmark detection in unpaired image-to-image translation

• arxiv url: http://arxiv.org/abs/2107.06941v1
• Date: Wed, 14 Jul 2021 19:09:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-16 14:13:32.376571
• Title: Mutually improved endoscopic image synthesis and landmark detection in unpaired image-to-image translation
• Title（参考訳）: unpaired image-to-image translationにおける内視鏡画像合成とランドマーク検出の相互改善
• Authors: Lalith Sharan, Gabriele Romano, Sven Koehler, Halvar Kelm, Matthias Karck, Raffaele De Simone and Sandy Engelhardt
• Abstract要約: CycleGANフレームワークは、教師なしデータのイメージ間変換を可能にする。 外科手術シミュレータにおける手術訓練のシナリオでは、この方法でファントムの内視鏡像を、同じ外科的標的構造の術中外観に近い画像に変換することができる。 スパースランドマークラベルに定義されたタスクは、両方のドメインにおけるジェネレータネットワークによる合成の一貫性を向上させる。
• 参考スコア（独自算出の注目度）: 0.9322743017642274
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The CycleGAN framework allows for unsupervised image-to-image translation of unpaired data. In a scenario of surgical training on a physical surgical simulator, this method can be used to transform endoscopic images of phantoms into images which more closely resemble the intra-operative appearance of the same surgical target structure. This can be viewed as a novel augmented reality approach, which we coined Hyperrealism in previous work. In this use case, it is of paramount importance to display objects like needles, sutures or instruments consistent in both domains while altering the style to a more tissue-like appearance. Segmentation of these objects would allow for a direct transfer, however, contouring of these, partly tiny and thin foreground objects is cumbersome and perhaps inaccurate. Instead, we propose to use landmark detection on the points when sutures pass into the tissue. This objective is directly incorporated into a CycleGAN framework by treating the performance of pre-trained detector models as an additional optimization goal. We show that a task defined on these sparse landmark labels improves consistency of synthesis by the generator network in both domains. Comparing a baseline CycleGAN architecture to our proposed extension (DetCycleGAN), mean precision (PPV) improved by +61.32, mean sensitivity (TPR) by +37.91, and mean F1 score by +0.4743. Furthermore, it could be shown that by dataset fusion, generated intra-operative images can be leveraged as additional training data for the detection network itself. The data is released within the scope of the AdaptOR MICCAI Challenge 2021 at https://adaptor2021.github.io/, and code at https://github.com/Cardio-AI/detcyclegan_pytorch.
• Abstract（参考訳）: CycleGANフレームワークは、教師なしデータのイメージ間変換を可能にする。 外科手術シミュレータにおける手術訓練のシナリオでは、この方法でファントムの内視鏡像を、同じ外科的標的構造の術中外観に近い画像に変換することができる。 これは、新しい拡張現実アプローチと見なすことができ、前回の作業で超現実主義を生み出した。 このユースケースでは、針や縫合、両領域で一貫した器具などのオブジェクトを表示するのが最重要であり、スタイルを組織的な外観に変更する。 これらのオブジェクトのセグメンテーションは直接転送を可能にするが、部分的には小さくて薄いフォアグラウンドオブジェクトは複雑で、おそらく不正確である。 代わりに, 縫合糸が組織に浸透したときの点のランドマーク検出法を提案する。 この目的は、事前訓練された検出器モデルの性能をさらなる最適化目標として扱うことにより、CycleGANフレームワークに直接組み込まれる。 これらのスパースランドマークラベルに定義されたタスクは、両方のドメインにおけるジェネレータネットワークによる合成の整合性を改善する。 The baseline CycleGAN architecture to our proposed extension (DetCycleGAN), mean precision (PPV) improve by +61.32, mean sensitivity (TPR) by +37.91, mean F1 score by +0.4743。 さらに,データセットの融合により,生成した術中画像が検出ネットワーク自体の訓練データとして利用できることを示した。 データは、https://adaptor2021.github.io/でAdaptor MICCAI Challenge 2021の範囲内でリリースされ、https://github.com/Cardio-AI/detcyclegan_pytorchでコードが公開されている。

関連論文リスト

• Cross-Dataset Adaptation for Instrument Classification in Cataract Surgery Videos [54.1843419649895]
  特定のデータセットでこのタスクをうまく実行する最先端モデルでは、別のデータセットでテストすると、パフォーマンスが低下する。 本稿では,Barlow Adaptorと呼ばれる新しいエンドツーエンドのUnsupervised Domain Adaptation (UDA)手法を提案する。 さらに,BFAL(Barlow Feature Alignment Loss)と呼ばれる,異なるドメインにまたがる特徴を整列させる新たな損失を導入する。
  論文  参考訳（メタデータ） (2023-07-31T18:14:18Z)
• Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection [84.52197307286681]
  暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。 自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。 我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-05-06T16:27:14Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• Controllable cardiac synthesis via disentangled anatomy arithmetic [15.351113774542839]
  異方性解剖学算術」という枠組みを提案する。 生成モデルは、異なる入力画像の解剖学的要因と所望の撮像モダリティを組み合わせることを学習する。 我々のモデルは、リアルなイメージ、病理ラベル、セグメンテーションマスクを生成するために使用される。
  論文  参考訳（メタデータ） (2021-07-04T23:13:33Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization [112.68171734288237]
  本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。 我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。 ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
  論文  参考訳（メタデータ） (2021-04-12T21:41:25Z)
• G-SimCLR : Self-Supervised Contrastive Learning with Guided Projection via Pseudo Labelling [0.8164433158925593]
  コンピュータビジョンにおいて、ディープニューラルネットワークは大量のラベル付きデータを持つ教師付き設定において、より良い性能を発揮することが明らかである。 本研究では, 温度スケールクロスエントロピー(NT-Xent)損失関数の正規化により, 同じカテゴリの画像が同じバッチにない方が有益であることを示す。 我々は、ラベルのないデータセットで訓練された復号化オートエンコーダの潜在空間表現を使用し、それらをk平均でクラスタリングして擬似ラベルを得る。
  論文  参考訳（メタデータ） (2020-09-25T02:25:37Z)
• Towards Unsupervised Learning for Instrument Segmentation in Robotic Surgery with Cycle-Consistent Adversarial Networks [54.00217496410142]
  本稿では、入力された内視鏡画像と対応するアノテーションとのマッピングを学習することを目的として、未ペア画像から画像への変換を提案する。 当社のアプローチでは,高価なアノテーションを取得することなく,イメージセグメンテーションモデルをトレーニングすることが可能です。 提案手法をEndovis 2017チャレンジデータセットで検証し,教師付きセグメンテーション手法と競合することを示す。
  論文  参考訳（メタデータ） (2020-07-09T01:39:39Z)
• Segmentation of Surgical Instruments for Minimally-Invasive Robot-Assisted Procedures Using Generative Deep Neural Networks [17.571763112459166]
  本研究は,極小侵襲手術器具のセマンティックセグメンテーションをトレーニングデータを用いて改善できることを証明した。 これを実現するために、ソースデータセットを変換してターゲットデータセットのドメイン分布を近似するCycleGANモデルを使用する。 完全ラベルを持つこの新たに生成されたデータは、セマンティックセグメンテーションニューラルネットワークであるU-Netのトレーニングに使用される。
  論文  参考訳（メタデータ） (2020-06-05T14:39:41Z)
• LC-GAN: Image-to-image Translation Based on Generative Adversarial Network for Endoscopic Images [22.253074722129053]
  本稿では,GAN(Generative Adversarial Network)に基づくイメージ・ツー・イメージ翻訳モデルLive-cadaver GAN(LC-GAN)を提案する。 実写画像セグメンテーションでは,まずLC-GANを用いて,実写画像から実写画像に変換し,実写画像データセットで訓練したモデルを用いて偽写画像のセグメンテーションを行う。 提案手法は画像から画像への変換性が向上し,領域間セグメンテーションタスクにおけるセグメンテーション性能が向上する。
  論文  参考訳（メタデータ） (2020-03-10T19:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。