論文の概要: Enhanced Scale-aware Depth Estimation for Monocular Endoscopic Scenes with Geometric Modeling

• arxiv url: http://arxiv.org/abs/2408.07266v1
• Date: Wed, 14 Aug 2024 03:18:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 14:25:39.950673
• Title: Enhanced Scale-aware Depth Estimation for Monocular Endoscopic Scenes with Geometric Modeling
• Title（参考訳）: 幾何学的モデリングによる単眼内視鏡的シーンのスケール認識深度推定
• Authors: Ruofeng Wei, Bin Li, Kai Chen, Yiyao Ma, Yunhui Liu, Qi Dou,
• Abstract要約: 本稿では,幾何学的モデリングによる深度推定のための単眼画像のみを用いた新しいスケールアウェアフレームワークを提案する。 具体的には、まず、単分子深度推定の品質を高めるための多分解能深度融合戦略を提案する。 スケール係数と相対深度推定を結合することにより、単眼内視鏡シーンのスケール認識深度を推定できる。
• 参考スコア（独自算出の注目度）: 42.70053750500301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scale-aware monocular depth estimation poses a significant challenge in computer-aided endoscopic navigation. However, existing depth estimation methods that do not consider the geometric priors struggle to learn the absolute scale from training with monocular endoscopic sequences. Additionally, conventional methods face difficulties in accurately estimating details on tissue and instruments boundaries. In this paper, we tackle these problems by proposing a novel enhanced scale-aware framework that only uses monocular images with geometric modeling for depth estimation. Specifically, we first propose a multi-resolution depth fusion strategy to enhance the quality of monocular depth estimation. To recover the precise scale between relative depth and real-world values, we further calculate the 3D poses of instruments in the endoscopic scenes by algebraic geometry based on the image-only geometric primitives (i.e., boundaries and tip of instruments). Afterwards, the 3D poses of surgical instruments enable the scale recovery of relative depth maps. By coupling scale factors and relative depth estimation, the scale-aware depth of the monocular endoscopic scenes can be estimated. We evaluate the pipeline on in-house endoscopic surgery videos and simulated data. The results demonstrate that our method can learn the absolute scale with geometric modeling and accurately estimate scale-aware depth for monocular scenes.
• Abstract（参考訳）: スケール対応単眼深度推定は,コンピュータ支援型内視鏡ナビゲーションにおいて重要な課題となる。 しかし、幾何学的先行を考慮しない既存の深度推定法は、単眼内視鏡によるトレーニングから絶対スケールを学ぶのに苦労している。 さらに、従来の手法では組織や楽器の境界の詳細を正確に推定することが困難である。 本稿では,幾何学的モデリングによる深度推定を行うモノクロ画像のみを用いた拡張スケールアウェアフレームワークを提案することにより,これらの課題に対処する。 具体的には、まず、単分子深度推定の品質を高めるための多分解能深度融合戦略を提案する。 画像のみの幾何学的プリミティブ(つまり、楽器の境界と先端)に基づく幾何学的幾何学的手法により、内視鏡的シーンにおける楽器の3次元ポーズを再現する。 その後、手術器具の3Dポーズにより、相対深度マップのスケール回復が可能となる。 スケール係数と相対深度推定を結合することにより、単眼内視鏡シーンのスケール認識深度を推定できる。 室内内視鏡手術ビデオとシミュレーションデータを用いたパイプラインの評価を行った。 その結果,本手法は幾何学的モデリングにより絶対スケールを学習し,モノクロシーンのスケール認識深度を正確に推定できることが示唆された。

関連論文リスト

• Surgical Depth Anything: Depth Estimation for Surgical Scenes using Foundation Models [4.740415113160021]
  深度推定の最先端基盤モデルであるDepth Anythingは、ぼやけ、出血、反射といった問題に苦慮している。 本稿では,より正確な深度マップの提供を目的として,外科領域に特化してDepth Anythingモデルを微調整する。
  論文  参考訳（メタデータ） (2024-10-09T21:06:14Z)
• ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
  本研究では,新しい単分子深度推定法であるScaleDepthを提案する。 提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。 本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
  論文  参考訳（メタデータ） (2024-07-11T05:11:56Z)
• Self-Supervised Learning based Depth Estimation from Monocular Images [0.0]
  単色深度推定の目標は、入力として2次元単色RGB画像が与えられた深度マップを予測することである。 我々は、トレーニング中に固有のカメラパラメータを実行し、我々のモデルをさらに一般化するために天気増悪を適用することを計画している。
  論文  参考訳（メタデータ） (2023-04-14T07:14:08Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• Scale-aware direct monocular odometry [4.111899441919165]
  本稿では,深部ニューラルネットワークからの深度予測に基づく直接単分子オードメトリーの枠組みを提案する。 提案手法は,従来の単分子SLAMよりも5倍から9倍精度が高く,ステレオシステムに近い精度である。
  論文  参考訳（メタデータ） (2021-09-21T10:30:15Z)
• Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection [70.71934539556916]
  射影モデルを用いて幾何学誘導深度推定を学習し, モノクル3次元物体検出を推し進める。 具体的には,モノクロ3次元物体検出ネットワークにおける2次元および3次元深度予測の投影モデルを用いた原理的幾何式を考案した。 本手法は, 適度なテスト設定において, 余分なデータを2.80%も加えることなく, 最先端単分子法の検出性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-07-29T12:30:39Z)
• Self-Supervised Generative Adversarial Network for Depth Estimation in Laparoscopic Images [13.996932179049978]
  本稿では,ジェネレーティブ・ディバイサル・ネットワークに基づく自己教師型深度推定手法であるSADepthを提案する。 エンコーダデコーダジェネレータと、トレーニング中に幾何学的制約を組み込む識別器で構成される。 2つの公開データセットの実験により、SADepthは最新の最先端の教師なし手法よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-09T19:40:20Z)
• Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction [87.08227378010874]
  深度予測における高次3次元幾何学的制約の重要性を示す。 単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。 The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
  論文  参考訳（メタデータ） (2021-03-07T00:08:21Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。