論文の概要: Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization for Learning-Based Navigation in Robot-Assisted Surgery

• arxiv url: http://arxiv.org/abs/2110.03912v1
• Date: Fri, 8 Oct 2021 06:12:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-11 14:09:25.454579
• Title: Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization for Learning-Based Navigation in Robot-Assisted Surgery
• Title（参考訳）: ロボット支援手術における学習ナビゲーションのためのステレオセンスシーン再構成と正確な腹腔鏡像定位
• Authors: Ruofeng Wei, Bin Li, Hangjie Mo, Bo Lu, Yonghao Long, Bohan Yang, Qi Dou, Yunhui Liu, and Dong Sun
• Abstract要約: 微小侵襲手術(MIS)における解剖情報と腹腔鏡位置の計算はロボット支援手術ナビゲーションの基本ブロックである 本稿では,複雑な解剖学的構造の3次元再構成による画像誘導腹腔鏡像の局在化を実現するための学習駆動型フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 37.14020061063255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The computation of anatomical information and laparoscope position is a fundamental block of robot-assisted surgical navigation in Minimally Invasive Surgery (MIS). Recovering a dense 3D structure of surgical scene using visual cues remains a challenge, and the online laparoscopic tracking mostly relies on external sensors, which increases system complexity. In this paper, we propose a learning-driven framework, in which an image-guided laparoscopic localization with 3D reconstructions of complex anatomical structures is hereby achieved. To reconstruct the 3D structure of the whole surgical environment, we first fine-tune a learning-based stereoscopic depth perception method, which is robust to the texture-less and variant soft tissues, for depth estimation. Then, we develop a dense visual reconstruction algorithm to represent the scene by surfels, estimate the laparoscope pose and fuse the depth data into a unified reference coordinate for tissue reconstruction. To estimate poses of new laparoscope views, we realize a coarse-to-fine localization method, which incorporates our reconstructed 3D model. We evaluate the reconstruction method and the localization module on three datasets, namely, the stereo correspondence and reconstruction of endoscopic data (SCARED), the ex-vivo phantom and tissue data collected with Universal Robot (UR) and Karl Storz Laparoscope, and the in-vivo DaVinci robotic surgery dataset. Extensive experiments have been conducted to prove the superior performance of our method in 3D anatomy reconstruction and laparoscopic localization, which demonstrates its potential implementation to surgical navigation system.
• Abstract（参考訳）: 解剖学的情報と腹腔鏡の位置の計算は、ミニマル侵襲手術(MIS)におけるロボット支援手術ナビゲーションの基本ブロックである。 視覚的手がかりを用いて手術シーンの密集した3D構造を復元することは依然として困難であり、オンライン腹腔鏡追跡は主に外部センサーに依存しており、システムの複雑さが増す。 本稿では,複雑な解剖構造を3次元再構成した画像誘導型腹腔鏡像定位を実現するための学習駆動フレームワークを提案する。 手術環境全体の3次元構造を再構築するために,まず,テクスチャレスおよび異種軟組織に頑健な学習に基づく立体的深度知覚法を用いて,深さ推定を行う。 次に, 現場をサーフィンで表現し, 腹腔鏡のポーズを推定し, 奥行きデータを統一した組織再構成基準座標に融合する, 密集した視覚再構成アルゴリズムを開発した。 新しい腹腔鏡像のポーズを推定するために,再構成した3次元モデルを取り入れた粗視定位法を実現する。 内視鏡データのステレオ対応と再構成(scared)、universal robot(ur)とkarl storz laparoscopeで収集した元vivo phantomおよび tissue data、in-vivo davinci robot surgery datasetの3つのデータセットにおける再構成方法とローカライズモジュールを評価した。 3次元解剖学的再構成法と腹腔鏡下定位法において, 外科的ナビゲーションシステムへの実装の可能性を示すため, 広範囲にわたる実験を行った。

関連論文リスト

• Hybrid NeRF-Stereo Vision: Pioneering Depth Estimation and 3D Reconstruction in Endoscopy [11.798218793025974]
  本稿では3次元再構成のためのNeural Radiance Fields (NeRF) を用いた革新的なパイプラインを提案する。 提案手法は, 粗いモデルが得られる予備的なNeRF再構成を用いて, 再建された環境内に双眼シーンを生成する。 高忠実度深度マップは、現実的な脳ファントムの単眼内視鏡映像から生成される。
  論文  参考訳（メタデータ） (2024-10-05T05:26:21Z)
• SurgPointTransformer: Vertebrae Shape Completion with RGB-D Data [0.0]
  本研究は,RGB-Dデータを用いた3次元脊椎解剖の再構築のための代替的,放射線のないアプローチを提案する。 SurgPointTransformerは, 表面の粗い観察から未露出の脊椎領域を正確に再構築できる手術用形状補修法である。 提案手法は,平均チャンファー距離5.39,Fスコア0.85,アースモーバー距離0.011,信号対雑音比22.90dBを達成し,最先端のベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2024-10-02T11:53:28Z)
• High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
  内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。 本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。 このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
  論文  参考訳（メタデータ） (2024-04-20T18:06:26Z)
• FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
  内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。 変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。 複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。 これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
  論文  参考訳（メタデータ） (2024-03-18T19:13:02Z)
• Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data [9.21828361691977]
  本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。 これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。 これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
  論文  参考訳（メタデータ） (2024-01-29T10:22:45Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)
• A Quantitative Evaluation of Dense 3D Reconstruction of Sinus Anatomy from Monocular Endoscopic Video [8.32570164101507]
  内視鏡的シーケンスと光学的トラッキングを用いた洞再建のための自己教師型アプローチの定量的解析を行った。 以上の結果から, 生成した復元は解剖学的に高い一致を示し, 平均点間誤差は0.91mmであった。 ポーズと深さ推定の不正確さがこの誤りに等しく寄与し、より短い軌跡を持つ局所的に一貫したシーケンスがより正確な再構成をもたらすことを確認した。
  論文  参考訳（メタデータ） (2023-10-22T17:11:40Z)
• 3D Reconstruction of Curvilinear Structures with Stereo Matching DeepConvolutional Neural Networks [52.710012864395246]
  本稿では,立体対における曲線構造の検出とマッチングのための完全自動パイプラインを提案する。 主に、TEM画像のステレオ対から転位を3次元再構成することに焦点を当てる。
  論文  参考訳（メタデータ） (2021-10-14T23:05:47Z)
• A parameter refinement method for Ptychography based on Deep Learning concepts [55.41644538483948]
  伝播距離、位置誤差、部分的コヒーレンスにおける粗いパラメトリゼーションは、しばしば実験の生存性を脅かす。 最新のDeep Learningフレームワークは、セットアップの不整合を自律的に補正するために使用され、ポチコグラフィーの再構築の質が向上する。 我々は,elettra シンクロトロン施設のツインミックビームラインで取得した合成データセットと実データの両方でシステムをテストした。
  論文  参考訳（メタデータ） (2021-05-18T10:15:17Z)
• Tattoo tomography: Freehand 3D photoacoustic image reconstruction with an optical pattern [49.240017254888336]
  光音響トモグラフィ(PAT)は、形態学的および機能的組織特性の両方を解決することができる新しいイメージング技術である。 現在の欠点は、従来の2Dプローブによって提供される視野の制限である。 本研究では,外部追跡システムを必要としないPATデータの3次元再構成手法を提案する。
  論文  参考訳（メタデータ） (2020-11-10T09:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。