論文の概要: SoftEnNet: Symbiotic Monocular Depth Estimation and Lumen Segmentation
for Colonoscopy Endorobots
- arxiv url: http://arxiv.org/abs/2301.08157v1
- Date: Thu, 19 Jan 2023 16:22:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-20 14:40:51.534807
- Title: SoftEnNet: Symbiotic Monocular Depth Estimation and Lumen Segmentation
for Colonoscopy Endorobots
- Title（参考訳）: softennet : 内視鏡内視鏡内視鏡ロボットのための共生単細胞深さ推定とルーメンセグメンテーション
- Authors: Alwyn Mathew, Ludovic Magerand, Emanuele Trucco and Luigi Manfredi
- Abstract要約: 大腸癌は世界で3番目に多いがん死の原因である。
視覚ベースの自律型内視鏡は大腸内視鏡の手順を大幅に改善することができる。
- 参考スコア（独自算出の注目度）: 2.9696400288366127
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Colorectal cancer is the third most common cause of cancer death worldwide.
Optical colonoscopy is the gold standard for detecting colorectal cancer;
however, about 25 percent of polyps are missed during the procedure. A
vision-based autonomous endorobot can improve colonoscopy procedures
significantly through systematic, complete screening of the colonic mucosa. The
reliable robot navigation needed requires a three-dimensional understanding of
the environment and lumen tracking to support autonomous tasks. We propose a
novel multi-task model that simultaneously predicts dense depth and lumen
segmentation with an ensemble of deep networks. The depth estimation
sub-network is trained in a self-supervised fashion guided by view synthesis;
the lumen segmentation sub-network is supervised. The two sub-networks are
interconnected with pathways that enable information exchange and thereby
mutual learning. As the lumen is in the image's deepest visual space, lumen
segmentation helps with the depth estimation at the farthest location. In turn,
the estimated depth guides the lumen segmentation network as the lumen location
defines the farthest scene location. Unlike other environments, view synthesis
often fails in the colon because of the deformable wall, textureless surface,
specularities, and wide field of view image distortions, all challenges that
our pipeline addresses. We conducted qualitative analysis on a synthetic
dataset and quantitative analysis on a colon training model and real
colonoscopy videos. The experiments show that our model predicts accurate
scale-invariant depth maps and lumen segmentation from colonoscopy images in
near real-time.
- Abstract（参考訳）: 大腸癌は世界で3番目に多いがんの死因である。
大腸内視鏡検査は大腸癌の診断に最適であるが,術中はポリープの約25%が欠如している。
視覚ベースの自律型エンドロボットは大腸粘膜の体系的で完全なスクリーニングを通じて大腸内視鏡の手順を著しく改善することができる。
信頼性の高いロボットナビゲーションは、自律的なタスクをサポートするために環境と路面追跡を3次元的に理解する必要がある。
本稿では,深層ネットワークのアンサンブルと密集深度とルーメンセグメンテーションを同時に予測する新しいマルチタスクモデルを提案する。
深度推定サブネットワークは、ビュー合成による自己教師あり方式で訓練され、ルーメンセグメンテーションサブネットワークは教師ありである。
2つのサブネットワークは、情報交換と相互学習を可能にする経路と相互接続されている。
ルーメンは画像の最深部にあるため、ルーメンのセグメンテーションは最深部での深さ推定に役立つ。
推定深度は、ルーメン位置が最遠のシーン位置を定義するため、ルーメンセグメンテーションネットワークを誘導する。
他の環境とは異なり、ビュー合成は、変形可能な壁、テクスチャのない表面、スペクティリティ、広い視野のビューイメージ歪など、パイプラインが対処するすべての課題のために、大腸で失敗することが多い。
人工的データセットの質的解析を行い,大腸トレーニングモデルと実大腸内視鏡画像の定量的解析を行った。
実験の結果,大腸内視鏡画像から高精度なスケール不変深さマップとルーメンセグメンテーションをほぼリアルタイムに予測できることがわかった。
関連論文リスト
- Frontiers in Intelligent Colonoscopy [96.57251132744446]
本研究は, インテリジェント大腸内視鏡技術のフロンティアと, マルチモーダル医療への応用の可能性について検討する。
大腸内視鏡的シーン知覚のための4つのタスクを通して,現在のデータ中心およびモデル中心のランドスケープを評価した。
今後のマルチモーダル時代を受け入れるために,大規模マルチモーダル・インストラクション・チューニング・データセットColoninST,大腸内視鏡で設計されたマルチモーダル言語モデルColonGPT,マルチモーダル・ベンチマークの3つの基本イニシアティブを構築した。
論文 参考訳（メタデータ） (2024-10-22T17:57:12Z) - Structure-preserving Image Translation for Depth Estimation in Colonoscopy Video [1.0485739694839669]
本稿では,構造保存型合成現実画像(sim2real)のパイプラインを提案する。
これにより、教師付き深度推定のために、大量のリアルな合成画像を生成することができる。
また,画像翻訳のプロセスを改善するために,臨床大腸内視鏡からの手書き配列のデータセットも提案する。
論文 参考訳（メタデータ） (2024-08-19T17:02:16Z) - ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation [67.22294293695255]
そこで本稿では,ToDERという双方向適応アーキテクチャを用いて,高精度な深度推定を行う新しいパイプラインを提案する。
以上の結果から,本手法は実写および合成大腸内視鏡ビデオの深度マップを精度良く予測できることが示唆された。
論文 参考訳（メタデータ） (2024-07-23T14:24:26Z) - Real-time guidewire tracking and segmentation in intraoperative x-ray [52.51797358201872]
リアルタイムガイドワイヤ分割と追跡のための2段階のディープラーニングフレームワークを提案する。
第1段階では、ヨロフ5検出器が元のX線画像と合成画像を使って訓練され、ターゲットのガイドワイヤのバウンディングボックスを出力する。
第2段階では、検出された各バウンディングボックスにガイドワイヤを分割するために、新規で効率的なネットワークが提案されている。
論文 参考訳（メタデータ） (2024-04-12T20:39:19Z) - CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。
ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。
我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
論文 参考訳（メタデータ） (2024-03-21T15:13:36Z) - Multi-task learning with cross-task consistency for improved depth
estimation in colonoscopy [0.2995885872626565]
我々は、共有エンコーダと2つのデコーダ、すなわち表面正規デコーダと深度推定器を備えた新しいマルチタスク学習(MTL)アプローチを開発する。
比較誤差は14.17%、$delta_1$精度は10.4%改善した。
論文 参考訳（メタデータ） (2023-11-30T16:13:17Z) - On the Uncertain Single-View Depths in Endoscopies [12.779570691818753]
内視鏡画像から深度を推定することは、幅広いAI支援技術の前提条件である。
本稿では,コロンコピーにおける一視点深度推定のためのベイズディープネットワークを初めて検討する。
1)3つのデータセットにおける深度推定のためのベイジアンディープ・ネットワークの網羅的分析を行い,合成から現実へのドメイン変更に関する課題と結論を明らかにするとともに,教師の不確かさを考慮に入れた新しい教師・学生による深度学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-16T14:24:17Z) - Deep Learning-based Biological Anatomical Landmark Detection in
Colonoscopy Videos [21.384094148149003]
大腸内視鏡画像における生物学的な解剖学的ランドマークを検出するための,新しい深層学習に基づくアプローチを提案する。
平均検出精度は99.75%に達し、平均IoUは0.91であり、予測されるランドマーク周期と地上の真実との高い類似性を示している。
論文 参考訳（メタデータ） (2021-08-06T05:52:32Z) - Generalize Ultrasound Image Segmentation via Instant and Plug & Play
Style Transfer [65.71330448991166]
ディープセグメンテーションモデルは、外観が不明な画像に一般化する。
モデルの再トレーニングは、高いレイテンシと複雑なパイプラインにつながる。
未知の外観変化下での堅牢なセグメンテーションのための新しい手法を提案する。
論文 参考訳（メタデータ） (2021-01-11T05:45:30Z) - OmniSLAM: Omnidirectional Localization and Dense Mapping for
Wide-baseline Multi-camera Systems [88.41004332322788]
超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。
より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。
我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
論文 参考訳（メタデータ） (2020-03-18T05:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。