論文の概要: Multi-task learning with cross-task consistency for improved depth
estimation in colonoscopy
- arxiv url: http://arxiv.org/abs/2311.18664v1
- Date: Thu, 30 Nov 2023 16:13:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 15:57:39.233992
- Title: Multi-task learning with cross-task consistency for improved depth
estimation in colonoscopy
- Title(参考訳): クロスタスク一貫性を有するマルチタスク学習による大腸内視鏡の深度推定
- Authors: Pedro Esteban Chavarrias Solano, Andrew Bulpitt, Venkataraman
Subramanian, Sharib Ali
- Abstract要約: 我々は、共有エンコーダと2つのデコーダ、すなわち表面正規デコーダと深度推定器を備えた新しいマルチタスク学習(MTL)アプローチを開発する。
比較誤差は14.17%、$delta_1$精度は10.4%改善した。
- 参考スコア(独自算出の注目度): 0.2995885872626565
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Colonoscopy screening is the gold standard procedure for assessing
abnormalities in the colon and rectum, such as ulcers and cancerous polyps.
Measuring the abnormal mucosal area and its 3D reconstruction can help quantify
the surveyed area and objectively evaluate disease burden. However, due to the
complex topology of these organs and variable physical conditions, for example,
lighting, large homogeneous texture, and image modality estimating distance
from the camera aka depth) is highly challenging. Moreover, most colonoscopic
video acquisition is monocular, making the depth estimation a non-trivial
problem. While methods in computer vision for depth estimation have been
proposed and advanced on natural scene datasets, the efficacy of these
techniques has not been widely quantified on colonoscopy datasets. As the
colonic mucosa has several low-texture regions that are not well pronounced,
learning representations from an auxiliary task can improve salient feature
extraction, allowing estimation of accurate camera depths. In this work, we
propose to develop a novel multi-task learning (MTL) approach with a shared
encoder and two decoders, namely a surface normal decoder and a depth estimator
decoder. Our depth estimator incorporates attention mechanisms to enhance
global context awareness. We leverage the surface normal prediction to improve
geometric feature extraction. Also, we apply a cross-task consistency loss
among the two geometrically related tasks, surface normal and camera depth. We
demonstrate an improvement of 14.17% on relative error and 10.4% improvement on
$\delta_{1}$ accuracy over the most accurate baseline state-of-the-art BTS
approach. All experiments are conducted on a recently released C3VD dataset;
thus, we provide a first benchmark of state-of-the-art methods.
- Abstract(参考訳): 大腸内視鏡検査は潰瘍や癌性ポリープなどの大腸および直腸の異常を評価するための金の標準的方法である。
異常な粘膜面積の測定とその3D再構成は、調査対象領域の定量化と、疾患負担の客観的評価に役立つ。
しかし、これらの臓器の複雑なトポロジーと様々な物理的条件、例えば照明、大きな均質なテクスチャ、カメラの奥行きからの距離を推定するイメージモダリティなどにより、非常に困難である。
さらに, 大腸内視鏡的ビデオ取得のほとんどは単眼的であり, 深さ推定は非自明な問題である。
奥行き推定のためのコンピュータビジョンの手法が提案され,自然景観データセット上では進歩してきたが,大腸内視鏡データではこれらの手法の有効性は広く評価されていない。
大腸粘膜には、発音が良くないいくつかの低テクスチャ領域があるため、補助タスクからの学習表現は、優れた特徴抽出を改善し、正確なカメラ深度の推定を可能にする。
本研究では,共有エンコーダと2つのデコーダ,すなわち表面正規デコーダと深度推定器デコーダを用いた新しいマルチタスク学習(MTL)手法を提案する。
我々の深度推定器は、グローバルな文脈認識を高めるための注意機構を組み込んでいる。
表面の正規予測を利用して幾何学的特徴抽出を改善する。
また,2つの幾何学的タスク,表面正規度とカメラ深度の間に,クロスタスクの整合性損失を適用した。
我々は、最も正確なベースライン・オブ・ザ・アートbtsアプローチよりも、相対誤差が14.17%改善され、$\delta_{1}$精度が10.4%向上したことを示す。
すべての実験は、最近リリースされたC3VDデータセット上で実施される。
関連論文リスト
- Leveraging a realistic synthetic database to learn Shape-from-Shading
for estimating the colon depth in colonoscopy images [0.20482269513546453]
本研究は,単眼的大腸内視鏡画像から1フレームの大腸深度マップを推定する新しい手法を提案する。
生成した深度マップは、光源に関する結腸壁のシェーディング変動から推定される。
古典的な畳み込みニューラルネットワークアーキテクチャは、深さマップを推定するためにゼロから訓練される。
論文 参考訳(メタデータ) (2023-11-08T21:14:56Z) - Geometry-Aware Attenuation Field Learning for Sparse-View CBCT
Reconstruction [61.48254686722434]
Cone Beam Computed Tomography (CBCT) は歯科医療において最も広く用いられている画像診断法である。
Sparse-view CBCT 再建は放射線線量削減に重点を置いている。
本稿では,マルチビューX線プロジェクションからボリューム特徴を初めて符号化することで,新しい減衰場エンコーダデコーダフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-26T14:38:42Z) - Depth Estimation from Single-shot Monocular Endoscope Image Using Image
Domain Adaptation And Edge-Aware Depth Estimation [1.7086737326992167]
領域適応によるランベルト面の変換とマルチスケールエッジロスを用いた深度推定による単眼単眼単眼内視鏡像からの深度推定法を提案する。
臓器の表面のテクスチャと特異反射により、深さ推定の精度が低下する。
本研究では,畳み込みニューラルネットワークを用いた大腸内視鏡像の解剖学的位置同定に,推定深度画像を適用した。
論文 参考訳(メタデータ) (2022-01-12T14:06:54Z) - Unsupervised deep learning techniques for powdery mildew recognition
based on multispectral imaging [63.62764375279861]
本稿では,キュウリ葉の粉状ミドウを自動的に認識する深層学習手法を提案する。
マルチスペクトルイメージングデータに適用した教師なし深層学習技術に焦点をあてる。
本稿では, オートエンコーダアーキテクチャを用いて, 疾患検出のための2つの手法を提案する。
論文 参考訳(メタデータ) (2021-12-20T13:29:13Z) - On the Uncertain Single-View Depths in Endoscopies [12.779570691818753]
内視鏡画像から深度を推定することは、幅広いAI支援技術の前提条件である。
本稿では,コロンコピーにおける一視点深度推定のためのベイズディープネットワークを初めて検討する。
1)3つのデータセットにおける深度推定のためのベイジアンディープ・ネットワークの網羅的分析を行い,合成から現実へのドメイン変更に関する課題と結論を明らかにするとともに,教師の不確かさを考慮に入れた新しい教師・学生による深度学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-16T14:24:17Z) - ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction [27.793186578742088]
本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。
ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
論文 参考訳(メタデータ) (2021-11-19T04:44:27Z) - Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。
双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。
本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
論文 参考訳(メタデータ) (2021-07-29T16:30:33Z) - Self-Supervised Generative Adversarial Network for Depth Estimation in
Laparoscopic Images [13.996932179049978]
本稿では,ジェネレーティブ・ディバイサル・ネットワークに基づく自己教師型深度推定手法であるSADepthを提案する。
エンコーダデコーダジェネレータと、トレーニング中に幾何学的制約を組み込む識別器で構成される。
2つの公開データセットの実験により、SADepthは最新の最先端の教師なし手法よりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2021-07-09T19:40:20Z) - Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust
Depth Prediction [87.08227378010874]
深度予測における高次3次元幾何学的制約の重要性を示す。
単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。
The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
論文 参考訳(メタデータ) (2021-03-07T00:08:21Z) - Robust Consistent Video Depth Estimation [65.53308117778361]
本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。
本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。
従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
論文 参考訳(メタデータ) (2020-12-10T18:59:48Z) - Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
カラービデオから多フレーム深度を推定する新しい学習手法を提案する。
本手法は深度推定精度において最先端の手法より優れる。
論文 参考訳(メタデータ) (2020-04-02T07:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。