論文の概要: ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction
- arxiv url: http://arxiv.org/abs/2111.10371v1
- Date: Fri, 19 Nov 2021 04:44:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-23 14:56:23.978073
- Title: ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction
- Title(参考訳): ColDE:大腸内視鏡再建のための深さ推定フレームワーク
- Authors: Yubo Zhang, Jan-Michael Frahm, Samuel Ehrenstein, Sarah K. McGill,
Julian G. Rosenman, Shuxian Wang, Stephen M. Pizer
- Abstract要約: 本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。
ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
- 参考スコア(独自算出の注目度): 27.793186578742088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the key elements of reconstructing a 3D mesh from a monocular video is
generating every frame's depth map. However, in the application of colonoscopy
video reconstruction, producing good-quality depth estimation is challenging.
Neural networks can be easily fooled by photometric distractions or fail to
capture the complex shape of the colon surface, predicting defective shapes
that result in broken meshes. Aiming to fundamentally improve the depth
estimation quality for colonoscopy 3D reconstruction, in this work we have
designed a set of training losses to deal with the special challenges of
colonoscopy data. For better training, a set of geometric consistency
objectives was developed, using both depth and surface normal information.
Also, the classic photometric loss was extended with feature matching to
compensate for illumination noise. With the training losses powerful enough,
our self-supervised framework named ColDE is able to produce better depth maps
of colonoscopy data as compared to the previous work utilizing prior depth
knowledge. Used in reconstruction, our network is able to reconstruct
good-quality colon meshes in real-time without any post-processing, making it
the first to be clinically applicable.
- Abstract(参考訳): 単眼映像から3dメッシュを再構成するための重要な要素の1つは、各フレームの深度マップを生成することである。
しかし,大腸内視鏡画像再構成の応用においては,高品質な深度推定が困難である。
ニューラルネットワークは、光度差によって簡単に騙されるか、または結腸表面の複雑な形状を捉えず、メッシュが壊れる原因となる欠陥を予測できる。
本研究は,大腸内視鏡3次元再構築の深さ推定精度を根本的に向上することを目的として,大腸内視鏡データの特殊課題に対処するための訓練損失のセットを考案した。
より優れたトレーニングのために、深度と表面の正規情報の両方を用いて幾何整合性の目標セットを開発した。
また、古典的な測光損失は、照明ノイズを補償する特徴マッチングによって拡張された。
トレーニングの損失は十分に強力であるため,coldeという自己監督型フレームワークは,事前の奥行き知識を利用した先行研究と比較して,大腸内視鏡データの奥行きマップを作成できる。
リコンストラクションに使用されるネットワークは,高品質な大腸メッシュを後処理なしでリアルタイムに再構築することが可能であり,臨床応用は初めてである。
関連論文リスト
- Hybrid NeRF-Stereo Vision: Pioneering Depth Estimation and 3D Reconstruction in Endoscopy [11.798218793025974]
本稿では3次元再構成のためのNeural Radiance Fields (NeRF) を用いた革新的なパイプラインを提案する。
提案手法は, 粗いモデルが得られる予備的なNeRF再構成を用いて, 再建された環境内に双眼シーンを生成する。
高忠実度深度マップは、現実的な脳ファントムの単眼内視鏡映像から生成される。
論文 参考訳(メタデータ) (2024-10-05T05:26:21Z) - ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation [67.22294293695255]
そこで本稿では,ToDERという双方向適応アーキテクチャを用いて,高精度な深度推定を行う新しいパイプラインを提案する。
以上の結果から,本手法は実写および合成大腸内視鏡ビデオの深度マップを精度良く予測できることが示唆された。
論文 参考訳(メタデータ) (2024-07-23T14:24:26Z) - High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。
本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。
このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文 参考訳(メタデータ) (2024-04-20T18:06:26Z) - Multi-task learning with cross-task consistency for improved depth
estimation in colonoscopy [0.2995885872626565]
我々は、共有エンコーダと2つのデコーダ、すなわち表面正規デコーダと深度推定器を備えた新しいマルチタスク学習(MTL)アプローチを開発する。
比較誤差は14.17%、$delta_1$精度は10.4%改善した。
論文 参考訳(メタデータ) (2023-11-30T16:13:17Z) - AugUndo: Scaling Up Augmentations for Monocular Depth Completion and Estimation [51.143540967290114]
本研究では,教師なし深度計算と推定のために,従来不可能であった幾何拡張の幅広い範囲をアンロックする手法を提案する。
これは、出力深さの座標への幾何変換を反転、あるいはアンドウイング(undo''-ing)し、深度マップを元の参照フレームに戻すことで達成される。
論文 参考訳(メタデータ) (2023-10-15T05:15:45Z) - A Surface-normal Based Neural Framework for Colonoscopy Reconstruction [24.467879991609095]
内視鏡画像から3次元表面を再構成することは、映像フレームの照明と反射率の変化により困難である。
大腸内視鏡再建の精度を大幅に向上させる2段階の神経フレームワークを開発した。
論文 参考訳(メタデータ) (2023-03-13T16:44:15Z) - C$^3$Fusion: Consistent Contrastive Colon Fusion, Towards Deep SLAM in
Colonoscopy [0.0]
光内視鏡(OC)による3D大腸再建による非検査面の検出は未解決の問題である。
近年の手法では,(1)フレーム・ツー・フレーム(あるいはフレーム・ツー・モデル)の予測が多くのトラッキング障害を引き起こし,(2)スキャン品質を犠牲にしてポイントベース表現に頼っている。
本稿では,これらの課題を終末まで解決し,定量的かつ定性的かつ堅牢な3次元大腸再建を実現するための新しい再構築フレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-04T10:38:19Z) - Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
画像再構成に有効な先行画像として, 奥行き画像が導入された。
その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。
計算課題に対処する2段階の学習パラダイムを開発する。
論文 参考訳(メタデータ) (2021-11-23T15:08:26Z) - Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。
そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
論文 参考訳(メタデータ) (2020-12-17T02:35:13Z) - Consistent Video Depth Estimation [57.712779457632024]
モノクロ映像中の全画素に対して, 密度, 幾何的に整合した深度を再構成するアルゴリズムを提案する。
動画中の画素の幾何的制約を確立するために、従来の動きから再構成した構造を利用する。
我々のアルゴリズムは、手持ちの映像をある程度のダイナミックな動きで処理することができる。
論文 参考訳(メタデータ) (2020-04-30T17:59:26Z) - Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。
この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。
我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文 参考訳(メタデータ) (2020-01-21T21:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。