論文の概要: ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation
- arxiv url: http://arxiv.org/abs/2407.16508v1
- Date: Tue, 23 Jul 2024 14:24:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 17:06:21.138851
- Title: ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation
- Title(参考訳): ToDER:Geometry Constraint Adaptationによる大腸内視鏡的深さ推定と再構成を目指して
- Authors: Zhenhua Wu, Yanlin Jin, Liangdong Qiu, Xiaoguang Han, Xiang Wan, Guanbin Li,
- Abstract要約: そこで本稿では,ToDERという双方向適応アーキテクチャを用いて,高精度な深度推定を行う新しいパイプラインを提案する。
以上の結果から,本手法は実写および合成大腸内視鏡ビデオの深度マップを精度良く予測できることが示唆された。
- 参考スコア(独自算出の注目度): 67.22294293695255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visualizing colonoscopy is crucial for medical auxiliary diagnosis to prevent undetected polyps in areas that are not fully observed. Traditional feature-based and depth-based reconstruction approaches usually end up with undesirable results due to incorrect point matching or imprecise depth estimation in realistic colonoscopy videos. Modern deep-based methods often require a sufficient number of ground truth samples, which are generally hard to obtain in optical colonoscopy. To address this issue, self-supervised and domain adaptation methods have been explored. However, these methods neglect geometry constraints and exhibit lower accuracy in predicting detailed depth. We thus propose a novel reconstruction pipeline with a bi-directional adaptation architecture named ToDER to get precise depth estimations. Furthermore, we carefully design a TNet module in our adaptation architecture to yield geometry constraints and obtain better depth quality. Estimated depth is finally utilized to reconstruct a reliable colon model for visualization. Experimental results demonstrate that our approach can precisely predict depth maps in both realistic and synthetic colonoscopy videos compared with other self-supervised and domain adaptation methods. Our method on realistic colonoscopy also shows the great potential for visualizing unobserved regions and preventing misdiagnoses.
- Abstract(参考訳): 大腸内視鏡検査は, 十分に観察されていない領域で検出されていないポリープを予防するために, 医療補助診断に不可欠である。
従来の特徴に基づく,深度に基づく再建手法は,非正確な点マッチングや非正確な深さ推定によって望ましくない結果に終わることが多い。
現代のディープベース法は、しばしば十分な数の基底真理サンプルを必要とするが、一般的には光学的大腸内視鏡では入手が困難である。
この問題に対処するため,自己監督型およびドメイン適応型手法が検討されている。
しかし,これらの手法は幾何制約を無視し,詳細な深度予測の精度を低下させる。
そこで本稿では,ToDERという双方向適応アーキテクチャを用いて,高精度な深度推定を行う新しいパイプラインを提案する。
さらに,我々の適応アーキテクチャにおけるTNetモジュールを慎重に設計し,幾何学的制約を課し,より深い品質を得る。
最終的に推定深度を利用して、可視化のための信頼性の高い大腸モデルを再構築する。
実験により,本手法は,他の自己監督的・ドメイン適応法と比較して,リアルおよび合成的大腸内視鏡ビデオの深度マップを正確に予測できることが示唆された。
実地的大腸内視鏡検査では,未観察領域の可視化や誤診の予防にも大きな可能性を秘めている。
関連論文リスト
- High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。
本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。
このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文 参考訳(メタデータ) (2024-04-20T18:06:26Z) - Multi-task learning with cross-task consistency for improved depth
estimation in colonoscopy [0.2995885872626565]
我々は、共有エンコーダと2つのデコーダ、すなわち表面正規デコーダと深度推定器を備えた新しいマルチタスク学習(MTL)アプローチを開発する。
比較誤差は14.17%、$delta_1$精度は10.4%改善した。
論文 参考訳(メタデータ) (2023-11-30T16:13:17Z) - Leveraging a realistic synthetic database to learn Shape-from-Shading
for estimating the colon depth in colonoscopy images [0.20482269513546453]
本研究は,単眼的大腸内視鏡画像から1フレームの大腸深度マップを推定する新しい手法を提案する。
生成した深度マップは、光源に関する結腸壁のシェーディング変動から推定される。
古典的な畳み込みニューラルネットワークアーキテクチャは、深さマップを推定するためにゼロから訓練される。
論文 参考訳(メタデータ) (2023-11-08T21:14:56Z) - A Surface-normal Based Neural Framework for Colonoscopy Reconstruction [24.467879991609095]
内視鏡画像から3次元表面を再構成することは、映像フレームの照明と反射率の変化により困難である。
大腸内視鏡再建の精度を大幅に向上させる2段階の神経フレームワークを開発した。
論文 参考訳(メタデータ) (2023-03-13T16:44:15Z) - On the Uncertain Single-View Depths in Endoscopies [12.779570691818753]
内視鏡画像から深度を推定することは、幅広いAI支援技術の前提条件である。
本稿では,コロンコピーにおける一視点深度推定のためのベイズディープネットワークを初めて検討する。
1)3つのデータセットにおける深度推定のためのベイジアンディープ・ネットワークの網羅的分析を行い,合成から現実へのドメイン変更に関する課題と結論を明らかにするとともに,教師の不確かさを考慮に入れた新しい教師・学生による深度学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-16T14:24:17Z) - Adversarial Domain Feature Adaptation for Bronchoscopic Depth Estimation [111.89519571205778]
そこで本研究では,深度推定のためのドメイン適応手法を提案する。
提案する2段階構造は,まず,ラベル付き合成画像を用いた深度推定ネットワークを教師付きで訓練する。
実験の結果,提案手法は実画像上でのネットワーク性能をかなりの差で向上させることがわかった。
論文 参考訳(メタデータ) (2021-09-24T08:11:34Z) - Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。
双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。
本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
論文 参考訳(メタデータ) (2021-07-29T16:30:33Z) - Adaptive confidence thresholding for monocular depth estimation [83.06265443599521]
本稿では,自己教師付ステレオマッチング法から生成されたステレオ画像の擬似地上真実深度マップを利用する新しい手法を提案する。
擬似地底深度マップの信頼度マップを推定し、不正確な擬似地底深度マップによる性能劣化を緩和する。
実験結果から, 最先端の単分子深度推定法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-09-27T13:26:16Z) - Calibrating Self-supervised Monocular Depth Estimation [77.77696851397539]
近年、ニューラルネットワークが深度を学習し、画像のシーケンスに変化を起こさせる能力を示す方法は、訓練信号として自己スーパービジョンのみを使用している。
カメラの構成や環境に関する事前情報を取り入れることで,センサの追加に頼ることなく,自己教師型定式化を用いて,スケールのあいまいさを排除し,深度を直接予測できることを示す。
論文 参考訳(メタデータ) (2020-09-16T14:35:45Z) - Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
カラービデオから多フレーム深度を推定する新しい学習手法を提案する。
本手法は深度推定精度において最先端の手法より優れる。
論文 参考訳(メタデータ) (2020-04-02T07:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。