論文の概要: Unifying Scale-Aware Depth Prediction and Perceptual Priors for Monocular Endoscope Pose Estimation and Tissue Reconstruction
- arxiv url: http://arxiv.org/abs/2508.11282v1
- Date: Fri, 15 Aug 2025 07:41:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-18 14:51:23.785185
- Title: Unifying Scale-Aware Depth Prediction and Perceptual Priors for Monocular Endoscope Pose Estimation and Tissue Reconstruction
- Title(参考訳): モノクローナル内視鏡ポス推定と組織再構成のための尺度認識深度予測と知覚的優位性
- Authors: Muzammil Khan, Enzo Kerkhof, Matteo Fusaglia, Koert Kuhlmann, Theo Ruers, Françoise J. Siepel,
- Abstract要約: 単分子内視鏡組織再建のための統一的枠組みを提示する。
スケール認識深度予測と時間的に制約された知覚の洗練を統合する。
HEVDとSCAREDの評価は、アブレーションと比較分析によって、最先端の手法よりもフレームワークの堅牢性と優位性を示している。
- 参考スコア(独自算出の注目度): 3.251946340142663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate endoscope pose estimation and 3D tissue surface reconstruction significantly enhances monocular minimally invasive surgical procedures by enabling accurate navigation and improved spatial awareness. However, monocular endoscope pose estimation and tissue reconstruction face persistent challenges, including depth ambiguity, physiological tissue deformation, inconsistent endoscope motion, limited texture fidelity, and a restricted field of view. To overcome these limitations, a unified framework for monocular endoscopic tissue reconstruction that integrates scale-aware depth prediction with temporally-constrained perceptual refinement is presented. This framework incorporates a novel MAPIS-Depth module, which leverages Depth Pro for robust initialisation and Depth Anything for efficient per-frame depth prediction, in conjunction with L-BFGS-B optimisation, to generate pseudo-metric depth estimates. These estimates are temporally refined by computing pixel correspondences using RAFT and adaptively blending flow-warped frames based on LPIPS perceptual similarity, thereby reducing artefacts arising from physiological tissue deformation and motion. To ensure accurate registration of the synthesised pseudo-RGBD frames from MAPIS-Depth, a novel WEMA-RTDL module is integrated, optimising both rotation and translation. Finally, truncated signed distance function-based volumetric fusion and marching cubes are applied to extract a comprehensive 3D surface mesh. Evaluations on HEVD and SCARED, with ablation and comparative analyses, demonstrate the framework's robustness and superiority over state-of-the-art methods.
- Abstract(参考訳): 正確な内視鏡のポーズ推定と3D組織表面の再構成は、正確なナビゲーションを可能にし、空間認識を向上させることにより、単分子的最小侵襲の外科手術を著しく強化する。
しかし、単眼内視鏡は、深さのあいまいさ、生理的組織変形、一貫性のない内視鏡運動、限られたテクスチャの忠実さ、限られた視野を含む、持続的な課題に直面している。
これらの制約を克服するために,スケール認識深度予測と時間的に制約された知覚的改善を統合した単眼内視鏡組織再構築のための統合的枠組みを提案する。
このフレームワークは、Depth Proを堅牢な初期化に活用する新しいMAPIS-Depthモジュールと、L-BFGS-B最適化と組み合わせてフレーム単位の効率的な深度予測にDepth Anythingを導入し、擬似距離深さ推定を生成する。
これらの推定は、RAFTを用いて画素対応を計算し、LPIPSの知覚的類似性に基づくフローワープフレームを適応的にブレンドすることにより、生理的組織の変形や動きに起因するアーチファクトを減らすことにより、時間的に洗練される。
MAPIS-Depthから合成された擬似RGBDフレームの正確な登録を確保するため、新しいWEMA-RTDLモジュールが統合され、回転と翻訳の両方が最適化される。
最後に、3次元表面メッシュを抽出するために、切り離された符号付き距離関数に基づく体積融合とマーチングキューブを適用した。
HEVDとSCAREDの評価は、アブレーションと比較分析によって、最先端の手法よりもフレームワークの堅牢性と優位性を示している。
関連論文リスト
- Topology-Constrained Learning for Efficient Laparoscopic Liver Landmark Detection [46.2391319253146]
肝のランドマークは腹腔鏡下肝手術中に外科医に重要な解剖学的ガイダンスを提供する。
TopoNetは腹腔鏡下肝ランドマーク検出のための新しいトポロジ制約学習フレームワークである。
我々のフレームワークは、スネーク・CNNデュアルパス・エンコーダを用いて、詳細なRGBテクスチャ情報と深さインフォームドトポロジ構造を同時に取得する。
論文 参考訳(メタデータ) (2025-07-01T07:35:36Z) - Self-supervised Monocular Depth and Pose Estimation for Endoscopy with Generative Latent Priors [10.61978045582697]
内視鏡における3Dマッピングは、消化管(GI)内の定量的、全体的病変のキャラクタリゼーションを可能にする。
既存の合成データセットや複雑なモデルに依存する手法は、しばしば内視鏡的条件に挑戦する際の一般化性に欠ける。
本稿では,多変量オートエンコーダと生成潜在銀行を組み込んだ,頑健な自己監督型単眼深度とポーズ推定フレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-26T15:43:06Z) - High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。
本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。
このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文 参考訳(メタデータ) (2024-04-20T18:06:26Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳(メタデータ) (2024-03-18T19:13:02Z) - EyeLS: Shadow-Guided Instrument Landing System for Intraocular Target
Approaching in Robotic Eye Surgery [51.05595735405451]
ロボット眼科手術(Robotic Ophthalmic surgery)は、網膜下注入における網膜侵入や網膜剥離における浮動組織の除去など、高精度な介入を促進する新しい技術である。
現在の画像に基づく手法では、針先端の軌跡を網膜と浮動標的の両方に向けて効果的に推定することはできない。
本研究では,ターゲットの影位置と楽器先端を用いて相対的な深度位置を推定する。
手術シミュレータでは, 平均深度0.0127mm, 平均深度0.3473mm, 平均深度0.0127mm, 平均深度0.3473mmを目標とした。
論文 参考訳(メタデータ) (2023-11-15T09:11:37Z) - A Quantitative Evaluation of Dense 3D Reconstruction of Sinus Anatomy
from Monocular Endoscopic Video [8.32570164101507]
内視鏡的シーケンスと光学的トラッキングを用いた洞再建のための自己教師型アプローチの定量的解析を行った。
以上の結果から, 生成した復元は解剖学的に高い一致を示し, 平均点間誤差は0.91mmであった。
ポーズと深さ推定の不正確さがこの誤りに等しく寄与し、より短い軌跡を持つ局所的に一貫したシーケンスがより正確な再構成をもたらすことを確認した。
論文 参考訳(メタデータ) (2023-10-22T17:11:40Z) - Revisiting 3D Context Modeling with Supervised Pre-training for
Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。
新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。
提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文 参考訳(メタデータ) (2020-12-16T07:11:16Z) - Tattoo tomography: Freehand 3D photoacoustic image reconstruction with
an optical pattern [49.240017254888336]
光音響トモグラフィ(PAT)は、形態学的および機能的組織特性の両方を解決することができる新しいイメージング技術である。
現在の欠点は、従来の2Dプローブによって提供される視野の制限である。
本研究では,外部追跡システムを必要としないPATデータの3次元再構成手法を提案する。
論文 参考訳(メタデータ) (2020-11-10T09:27:56Z) - Pseudo RGB-D for Self-Improving Monocular SLAM and Depth Prediction [72.30870535815258]
モノクロ深度予測のためのCNNは、周囲の環境の3Dマップを構築するための2つの大きく不連続なアプローチを表している。
本稿では,CNN予測深度を利用してRGB-D特徴量に基づくSLAMを行う,狭義の広義の自己改善フレームワークを提案する。
一方、より原理化された幾何学的SLAMの3次元シーン構造とカメラポーズは、新しい広義のベースライン損失により奥行きネットワークに注入される。
論文 参考訳(メタデータ) (2020-04-22T16:31:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。