論文の概要: Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization
for Learning-Based Navigation in Robot-Assisted Surgery
- arxiv url: http://arxiv.org/abs/2110.03912v1
- Date: Fri, 8 Oct 2021 06:12:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-11 14:09:25.454579
- Title: Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization
for Learning-Based Navigation in Robot-Assisted Surgery
- Title(参考訳): ロボット支援手術における学習ナビゲーションのためのステレオセンスシーン再構成と正確な腹腔鏡像定位
- Authors: Ruofeng Wei, Bin Li, Hangjie Mo, Bo Lu, Yonghao Long, Bohan Yang, Qi
Dou, Yunhui Liu, and Dong Sun
- Abstract要約: 微小侵襲手術(MIS)における解剖情報と腹腔鏡位置の計算はロボット支援手術ナビゲーションの基本ブロックである
本稿では,複雑な解剖学的構造の3次元再構成による画像誘導腹腔鏡像の局在化を実現するための学習駆動型フレームワークを提案する。
- 参考スコア(独自算出の注目度): 37.14020061063255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The computation of anatomical information and laparoscope position is a
fundamental block of robot-assisted surgical navigation in Minimally Invasive
Surgery (MIS). Recovering a dense 3D structure of surgical scene using visual
cues remains a challenge, and the online laparoscopic tracking mostly relies on
external sensors, which increases system complexity. In this paper, we propose
a learning-driven framework, in which an image-guided laparoscopic localization
with 3D reconstructions of complex anatomical structures is hereby achieved. To
reconstruct the 3D structure of the whole surgical environment, we first
fine-tune a learning-based stereoscopic depth perception method, which is
robust to the texture-less and variant soft tissues, for depth estimation.
Then, we develop a dense visual reconstruction algorithm to represent the scene
by surfels, estimate the laparoscope pose and fuse the depth data into a
unified reference coordinate for tissue reconstruction. To estimate poses of
new laparoscope views, we realize a coarse-to-fine localization method, which
incorporates our reconstructed 3D model. We evaluate the reconstruction method
and the localization module on three datasets, namely, the stereo
correspondence and reconstruction of endoscopic data (SCARED), the ex-vivo
phantom and tissue data collected with Universal Robot (UR) and Karl Storz
Laparoscope, and the in-vivo DaVinci robotic surgery dataset. Extensive
experiments have been conducted to prove the superior performance of our method
in 3D anatomy reconstruction and laparoscopic localization, which demonstrates
its potential implementation to surgical navigation system.
- Abstract(参考訳): 解剖学的情報と腹腔鏡の位置の計算は、ミニマル侵襲手術(MIS)におけるロボット支援手術ナビゲーションの基本ブロックである。
視覚的手がかりを用いて手術シーンの密集した3D構造を復元することは依然として困難であり、オンライン腹腔鏡追跡は主に外部センサーに依存しており、システムの複雑さが増す。
本稿では,複雑な解剖構造を3次元再構成した画像誘導型腹腔鏡像定位を実現するための学習駆動フレームワークを提案する。
手術環境全体の3次元構造を再構築するために,まず,テクスチャレスおよび異種軟組織に頑健な学習に基づく立体的深度知覚法を用いて,深さ推定を行う。
次に, 現場をサーフィンで表現し, 腹腔鏡のポーズを推定し, 奥行きデータを統一した組織再構成基準座標に融合する, 密集した視覚再構成アルゴリズムを開発した。
新しい腹腔鏡像のポーズを推定するために,再構成した3次元モデルを取り入れた粗視定位法を実現する。
内視鏡データのステレオ対応と再構成(scared)、universal robot(ur)とkarl storz laparoscopeで収集した元vivo phantomおよび tissue data、in-vivo davinci robot surgery datasetの3つのデータセットにおける再構成方法とローカライズモジュールを評価した。
3次元解剖学的再構成法と腹腔鏡下定位法において, 外科的ナビゲーションシステムへの実装の可能性を示すため, 広範囲にわたる実験を行った。
関連論文リスト
- Domain adaptation strategies for 3D reconstruction of the lumbar spine
using real fluoroscopy data [9.42467375312292]
本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。
これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。
これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
論文 参考訳(メタデータ) (2024-01-29T10:22:45Z) - A Quantitative Evaluation of Dense 3D Reconstruction of Sinus Anatomy
from Monocular Endoscopic Video [8.32570164101507]
内視鏡的シーケンスと光学的トラッキングを用いた洞再建のための自己教師型アプローチの定量的解析を行った。
以上の結果から, 生成した復元は解剖学的に高い一致を示し, 平均点間誤差は0.91mmであった。
ポーズと深さ推定の不正確さがこの誤りに等しく寄与し、より短い軌跡を持つ局所的に一貫したシーケンスがより正確な再構成をもたらすことを確認した。
論文 参考訳(メタデータ) (2023-10-22T17:11:40Z) - Semantic-SuPer: A Semantic-aware Surgical Perception Framework for
Endoscopic Tissue Classification, Reconstruction, and Tracking [21.133420628173067]
外科的知覚の枠組みであるSemantic-SuPerを提案する。
データアソシエーション、3D再構成、内視鏡的シーンの追跡を容易にするため、幾何学的および意味的な情報を統合する。
論文 参考訳(メタデータ) (2022-10-29T19:33:21Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-09-19T09:43:19Z) - Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in
Robotic Surgery [18.150476919815382]
内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。
これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。
近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2022-06-30T13:06:27Z) - 3D Reconstruction of Curvilinear Structures with Stereo Matching
DeepConvolutional Neural Networks [52.710012864395246]
本稿では,立体対における曲線構造の検出とマッチングのための完全自動パイプラインを提案する。
主に、TEM画像のステレオ対から転位を3次元再構成することに焦点を当てる。
論文 参考訳(メタデータ) (2021-10-14T23:05:47Z) - Self Context and Shape Prior for Sensorless Freehand 3D Ultrasound
Reconstruction [61.62191904755521]
3DフリーハンドUSは、幅広い範囲とフリーフォームスキャンを提供することで、この問題に対処することを約束している。
既存のディープラーニングベースの手法は、スキルシーケンスの基本ケースのみに焦点を当てている。
複雑なスキルシーケンスを考慮したセンサレスフリーハンドUS再構成手法を提案する。
論文 参考訳(メタデータ) (2021-07-31T16:06:50Z) - A parameter refinement method for Ptychography based on Deep Learning
concepts [55.41644538483948]
伝播距離、位置誤差、部分的コヒーレンスにおける粗いパラメトリゼーションは、しばしば実験の生存性を脅かす。
最新のDeep Learningフレームワークは、セットアップの不整合を自律的に補正するために使用され、ポチコグラフィーの再構築の質が向上する。
我々は,elettra シンクロトロン施設のツインミックビームラインで取得した合成データセットと実データの両方でシステムをテストした。
論文 参考訳(メタデータ) (2021-05-18T10:15:17Z) - Tattoo tomography: Freehand 3D photoacoustic image reconstruction with
an optical pattern [49.240017254888336]
光音響トモグラフィ(PAT)は、形態学的および機能的組織特性の両方を解決することができる新しいイメージング技術である。
現在の欠点は、従来の2Dプローブによって提供される視野の制限である。
本研究では,外部追跡システムを必要としないPATデータの3次元再構成手法を提案する。
論文 参考訳(メタデータ) (2020-11-10T09:27:56Z) - VC-Net: Deep Volume-Composition Networks for Segmentation and
Visualization of Highly Sparse and Noisy Image Data [13.805816310795256]
本稿では,3次元微小血管のロバスト抽出のためのエンドツーエンド深層学習手法VC-Netを提案する。
中心となる新規性は、ボリューム可視化技術(MIP)を自動利用して、3Dデータ探索を強化することである。
マルチストリーム畳み込みニューラルネットワークは、それぞれ3次元体積と2次元MIPの特徴を学習し、その相互依存性を結合体積-合成埋め込み空間で探索するために提案される。
論文 参考訳(メタデータ) (2020-09-14T04:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。