論文の概要: ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction
- arxiv url: http://arxiv.org/abs/2111.10371v1
- Date: Fri, 19 Nov 2021 04:44:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-23 14:56:23.978073
- Title: ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction
- Title(参考訳): ColDE:大腸内視鏡再建のための深さ推定フレームワーク
- Authors: Yubo Zhang, Jan-Michael Frahm, Samuel Ehrenstein, Sarah K. McGill,
Julian G. Rosenman, Shuxian Wang, Stephen M. Pizer
- Abstract要約: 本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。
ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
- 参考スコア(独自算出の注目度): 27.793186578742088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the key elements of reconstructing a 3D mesh from a monocular video is
generating every frame's depth map. However, in the application of colonoscopy
video reconstruction, producing good-quality depth estimation is challenging.
Neural networks can be easily fooled by photometric distractions or fail to
capture the complex shape of the colon surface, predicting defective shapes
that result in broken meshes. Aiming to fundamentally improve the depth
estimation quality for colonoscopy 3D reconstruction, in this work we have
designed a set of training losses to deal with the special challenges of
colonoscopy data. For better training, a set of geometric consistency
objectives was developed, using both depth and surface normal information.
Also, the classic photometric loss was extended with feature matching to
compensate for illumination noise. With the training losses powerful enough,
our self-supervised framework named ColDE is able to produce better depth maps
of colonoscopy data as compared to the previous work utilizing prior depth
knowledge. Used in reconstruction, our network is able to reconstruct
good-quality colon meshes in real-time without any post-processing, making it
the first to be clinically applicable.
- Abstract(参考訳): 単眼映像から3dメッシュを再構成するための重要な要素の1つは、各フレームの深度マップを生成することである。
しかし,大腸内視鏡画像再構成の応用においては,高品質な深度推定が困難である。
ニューラルネットワークは、光度差によって簡単に騙されるか、または結腸表面の複雑な形状を捉えず、メッシュが壊れる原因となる欠陥を予測できる。
本研究は,大腸内視鏡3次元再構築の深さ推定精度を根本的に向上することを目的として,大腸内視鏡データの特殊課題に対処するための訓練損失のセットを考案した。
より優れたトレーニングのために、深度と表面の正規情報の両方を用いて幾何整合性の目標セットを開発した。
また、古典的な測光損失は、照明ノイズを補償する特徴マッチングによって拡張された。
トレーニングの損失は十分に強力であるため,coldeという自己監督型フレームワークは,事前の奥行き知識を利用した先行研究と比較して,大腸内視鏡データの奥行きマップを作成できる。
リコンストラクションに使用されるネットワークは,高品質な大腸メッシュを後処理なしでリアルタイムに再構築することが可能であり,臨床応用は初めてである。
関連論文リスト
- Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian
Splatting [12.951997168433895]
動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。
NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。
本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
論文 参考訳(メタデータ) (2024-01-29T18:55:29Z) - Multi-task learning with cross-task consistency for improved depth
estimation in colonoscopy [0.2995885872626565]
我々は、共有エンコーダと2つのデコーダ、すなわち表面正規デコーダと深度推定器を備えた新しいマルチタスク学習(MTL)アプローチを開発する。
比較誤差は14.17%、$delta_1$精度は10.4%改善した。
論文 参考訳(メタデータ) (2023-11-30T16:13:17Z) - A Quantitative Evaluation of Dense 3D Reconstruction of Sinus Anatomy
from Monocular Endoscopic Video [8.32570164101507]
内視鏡的シーケンスと光学的トラッキングを用いた洞再建のための自己教師型アプローチの定量的解析を行った。
以上の結果から, 生成した復元は解剖学的に高い一致を示し, 平均点間誤差は0.91mmであった。
ポーズと深さ推定の不正確さがこの誤りに等しく寄与し、より短い軌跡を持つ局所的に一貫したシーケンスがより正確な再構成をもたらすことを確認した。
論文 参考訳(メタデータ) (2023-10-22T17:11:40Z) - A Surface-normal Based Neural Framework for Colonoscopy Reconstruction [24.467879991609095]
内視鏡画像から3次元表面を再構成することは、映像フレームの照明と反射率の変化により困難である。
大腸内視鏡再建の精度を大幅に向上させる2段階の神経フレームワークを開発した。
論文 参考訳(メタデータ) (2023-03-13T16:44:15Z) - C$^3$Fusion: Consistent Contrastive Colon Fusion, Towards Deep SLAM in
Colonoscopy [0.0]
光内視鏡(OC)による3D大腸再建による非検査面の検出は未解決の問題である。
近年の手法では,(1)フレーム・ツー・フレーム(あるいはフレーム・ツー・モデル)の予測が多くのトラッキング障害を引き起こし,(2)スキャン品質を犠牲にしてポイントベース表現に頼っている。
本稿では,これらの課題を終末まで解決し,定量的かつ定性的かつ堅牢な3次元大腸再建を実現するための新しい再構築フレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-04T10:38:19Z) - MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface
Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。
これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。
近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文 参考訳(メタデータ) (2022-06-01T17:58:15Z) - Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
画像再構成に有効な先行画像として, 奥行き画像が導入された。
その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。
計算課題に対処する2段階の学習パラダイムを開発する。
論文 参考訳(メタデータ) (2021-11-23T15:08:26Z) - Adversarial Domain Feature Adaptation for Bronchoscopic Depth Estimation [111.89519571205778]
そこで本研究では,深度推定のためのドメイン適応手法を提案する。
提案する2段階構造は,まず,ラベル付き合成画像を用いた深度推定ネットワークを教師付きで訓練する。
実験の結果,提案手法は実画像上でのネットワーク性能をかなりの差で向上させることがわかった。
論文 参考訳(メタデータ) (2021-09-24T08:11:34Z) - Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。
そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
論文 参考訳(メタデータ) (2020-12-17T02:35:13Z) - Consistent Video Depth Estimation [57.712779457632024]
モノクロ映像中の全画素に対して, 密度, 幾何的に整合した深度を再構成するアルゴリズムを提案する。
動画中の画素の幾何的制約を確立するために、従来の動きから再構成した構造を利用する。
我々のアルゴリズムは、手持ちの映像をある程度のダイナミックな動きで処理することができる。
論文 参考訳(メタデータ) (2020-04-30T17:59:26Z) - Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。
この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。
我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文 参考訳(メタデータ) (2020-01-21T21:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。