論文の概要: Multi-task learning with cross-task consistency for improved depth estimation in colonoscopy

• arxiv url: http://arxiv.org/abs/2311.18664v1
• Date: Thu, 30 Nov 2023 16:13:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 15:57:39.233992
• Title: Multi-task learning with cross-task consistency for improved depth estimation in colonoscopy
• Title（参考訳）: クロスタスク一貫性を有するマルチタスク学習による大腸内視鏡の深度推定
• Authors: Pedro Esteban Chavarrias Solano, Andrew Bulpitt, Venkataraman Subramanian, Sharib Ali
• Abstract要約: 我々は、共有エンコーダと2つのデコーダ、すなわち表面正規デコーダと深度推定器を備えた新しいマルチタスク学習(MTL)アプローチを開発する。 比較誤差は14.17%、$delta_1$精度は10.4%改善した。
• 参考スコア（独自算出の注目度）: 0.2995885872626565
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Colonoscopy screening is the gold standard procedure for assessing abnormalities in the colon and rectum, such as ulcers and cancerous polyps. Measuring the abnormal mucosal area and its 3D reconstruction can help quantify the surveyed area and objectively evaluate disease burden. However, due to the complex topology of these organs and variable physical conditions, for example, lighting, large homogeneous texture, and image modality estimating distance from the camera aka depth) is highly challenging. Moreover, most colonoscopic video acquisition is monocular, making the depth estimation a non-trivial problem. While methods in computer vision for depth estimation have been proposed and advanced on natural scene datasets, the efficacy of these techniques has not been widely quantified on colonoscopy datasets. As the colonic mucosa has several low-texture regions that are not well pronounced, learning representations from an auxiliary task can improve salient feature extraction, allowing estimation of accurate camera depths. In this work, we propose to develop a novel multi-task learning (MTL) approach with a shared encoder and two decoders, namely a surface normal decoder and a depth estimator decoder. Our depth estimator incorporates attention mechanisms to enhance global context awareness. We leverage the surface normal prediction to improve geometric feature extraction. Also, we apply a cross-task consistency loss among the two geometrically related tasks, surface normal and camera depth. We demonstrate an improvement of 14.17% on relative error and 10.4% improvement on $\delta_{1}$ accuracy over the most accurate baseline state-of-the-art BTS approach. All experiments are conducted on a recently released C3VD dataset; thus, we provide a first benchmark of state-of-the-art methods.
• Abstract（参考訳）: 大腸内視鏡検査は潰瘍や癌性ポリープなどの大腸および直腸の異常を評価するための金の標準的方法である。 異常な粘膜面積の測定とその3D再構成は、調査対象領域の定量化と、疾患負担の客観的評価に役立つ。 しかし、これらの臓器の複雑なトポロジーと様々な物理的条件、例えば照明、大きな均質なテクスチャ、カメラの奥行きからの距離を推定するイメージモダリティなどにより、非常に困難である。 さらに, 大腸内視鏡的ビデオ取得のほとんどは単眼的であり, 深さ推定は非自明な問題である。 奥行き推定のためのコンピュータビジョンの手法が提案され,自然景観データセット上では進歩してきたが,大腸内視鏡データではこれらの手法の有効性は広く評価されていない。 大腸粘膜には、発音が良くないいくつかの低テクスチャ領域があるため、補助タスクからの学習表現は、優れた特徴抽出を改善し、正確なカメラ深度の推定を可能にする。 本研究では,共有エンコーダと2つのデコーダ,すなわち表面正規デコーダと深度推定器デコーダを用いた新しいマルチタスク学習(MTL)手法を提案する。 我々の深度推定器は、グローバルな文脈認識を高めるための注意機構を組み込んでいる。 表面の正規予測を利用して幾何学的特徴抽出を改善する。 また,2つの幾何学的タスク,表面正規度とカメラ深度の間に,クロスタスクの整合性損失を適用した。 我々は、最も正確なベースライン・オブ・ザ・アートbtsアプローチよりも、相対誤差が14.17%改善され、$\delta_{1}$精度が10.4%向上したことを示す。 すべての実験は、最近リリースされたC3VDデータセット上で実施される。

関連論文リスト

• ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation [67.22294293695255]
  そこで本稿では,ToDERという双方向適応アーキテクチャを用いて,高精度な深度推定を行う新しいパイプラインを提案する。 以上の結果から,本手法は実写および合成大腸内視鏡ビデオの深度マップを精度良く予測できることが示唆された。
  論文  参考訳（メタデータ） (2024-07-23T14:24:26Z)
• High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
  内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。 本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。 このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
  論文  参考訳（メタデータ） (2024-04-20T18:06:26Z)
• Unsupervised deep learning techniques for powdery mildew recognition based on multispectral imaging [63.62764375279861]
  本稿では,キュウリ葉の粉状ミドウを自動的に認識する深層学習手法を提案する。 マルチスペクトルイメージングデータに適用した教師なし深層学習技術に焦点をあてる。 本稿では, オートエンコーダアーキテクチャを用いて, 疾患検出のための2つの手法を提案する。
  論文  参考訳（メタデータ） (2021-12-20T13:29:13Z)
• On the Uncertain Single-View Depths in Endoscopies [12.779570691818753]
  内視鏡画像から深度を推定することは、幅広いAI支援技術の前提条件である。 本稿では,コロンコピーにおける一視点深度推定のためのベイズディープネットワークを初めて検討する。 1)3つのデータセットにおける深度推定のためのベイジアンディープ・ネットワークの網羅的分析を行い,合成から現実へのドメイン変更に関する課題と結論を明らかにするとともに,教師の不確かさを考慮に入れた新しい教師・学生による深度学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T14:24:17Z)
• ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction [27.793186578742088]
  本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。 ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
  論文  参考訳（メタデータ） (2021-11-19T04:44:27Z)
• Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
  3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。 双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。 本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
  論文  参考訳（メタデータ） (2021-07-29T16:30:33Z)
• Self-Supervised Generative Adversarial Network for Depth Estimation in Laparoscopic Images [13.996932179049978]
  本稿では,ジェネレーティブ・ディバイサル・ネットワークに基づく自己教師型深度推定手法であるSADepthを提案する。 エンコーダデコーダジェネレータと、トレーニング中に幾何学的制約を組み込む識別器で構成される。 2つの公開データセットの実験により、SADepthは最新の最先端の教師なし手法よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-09T19:40:20Z)
• Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction [87.08227378010874]
  深度予測における高次3次元幾何学的制約の重要性を示す。 単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。 The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
  論文  参考訳（メタデータ） (2021-03-07T00:08:21Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。