論文の概要: E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with
Transformer-based Stereoscopic Depth Perception
- arxiv url: http://arxiv.org/abs/2107.00229v1
- Date: Thu, 1 Jul 2021 05:57:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 14:00:30.451122
- Title: E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with
Transformer-based Stereoscopic Depth Perception
- Title(参考訳): E-DSSR : Transformer-based Stereoscopic Depth Perception を用いた効率的な動的手術シーン再構築
- Authors: Yonghao Long, Zhaoshuo Li, Chi Hang Yee, Chi Fai Ng, Russell H.
Taylor, Mathias Unberath, Qi Dou
- Abstract要約: 28 fpsの高ダイナミックな手術シーンに対して,効率的な再建パイプラインを提案する。
具体的には,効率的な深度推定のための変圧器を用いた立体視深度知覚を設計する。
提案したパイプラインを,公開Hamlyn Centre内視鏡ビデオデータセットと社内のDaVinciロボット手術データセットの2つのデータセットで評価した。
- 参考スコア(独自算出の注目度): 15.927060244702686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing the scene of robotic surgery from the stereo endoscopic video
is an important and promising topic in surgical data science, which potentially
supports many applications such as surgical visual perception, robotic surgery
education and intra-operative context awareness. However, current methods are
mostly restricted to reconstructing static anatomy assuming no tissue
deformation, tool occlusion and de-occlusion, and camera movement. However,
these assumptions are not always satisfied in minimal invasive robotic
surgeries. In this work, we present an efficient reconstruction pipeline for
highly dynamic surgical scenes that runs at 28 fps. Specifically, we design a
transformer-based stereoscopic depth perception for efficient depth estimation
and a light-weight tool segmentor to handle tool occlusion. After that, a
dynamic reconstruction algorithm which can estimate the tissue deformation and
camera movement, and aggregate the information over time is proposed for
surgical scene reconstruction. We evaluate the proposed pipeline on two
datasets, the public Hamlyn Centre Endoscopic Video Dataset and our in-house
DaVinci robotic surgery dataset. The results demonstrate that our method can
recover the scene obstructed by the surgical tool and handle the movement of
camera in realistic surgical scenarios effectively at real-time speed.
- Abstract(参考訳): ステレオ内視鏡映像からロボット手術のシーンを再構築することは、手術データサイエンスにおいて重要かつ有望なトピックであり、手術視知覚、ロボット手術教育、術中文脈認識など多くの応用をサポートする可能性がある。
しかし、現在の方法は、組織変形、工具閉塞と脱閉塞、カメラの動きを仮定して静的解剖の再構築に限られている。
しかしながら、これらの仮定は最小限の侵襲的なロボット手術で満たされるとは限らない。
本研究では,28fpsの高ダイナミックな手術シーンを効率的に再現するパイプラインを提案する。
具体的には、効率的な深度推定のための変圧器に基づく立体視深度知覚と、ツール閉塞を処理する軽量ツールセグメンタを設計する。
その後, 組織変形とカメラの動きを推定し, 経時的に情報を集約する動的再構成アルゴリズムが提案されている。
提案したパイプラインを,Hamlyn Centreの内視鏡的ビデオデータセットと社内のDaVinciロボット手術データセットの2つのデータセットで評価した。
その結果,本手法は手術用具で妨害されたシーンを回収し,実写的な手術シナリオにおけるカメラの動きをリアルタイムに効果的に処理できることがわかった。
関連論文リスト
- SurgicalGaussian: Deformable 3D Gaussians for High-Fidelity Surgical Scene Reconstruction [17.126895638077574]
内視鏡的ビデオにおける変形性組織の動的再構成は、ロボット支援手術の鍵となる技術である。
NeRFは、シーン内のオブジェクトの複雑な詳細をキャプチャするのに苦労します。
我々のネットワークは、レンダリング品質、レンダリング速度、GPU使用率など、多くの面で既存の手法よりも優れています。
論文 参考訳(メタデータ) (2024-07-06T09:31:30Z) - SimEndoGS: Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians [19.590481146949685]
立体内視鏡画像から3D Gaussianを学習可能な手術シーンの表現として紹介する。
本研究では3次元ガウスに物理特性を統合したマテリアルポイント法を適用し,現実的なシーン変形を実現する。
以上の結果から,内視鏡的画像から外科的シーンを効率的に再構成し,シミュレートし,外科的シーンを再構築するのにほんの数分しか要しないことが明らかとなった。
論文 参考訳(メタデータ) (2024-05-02T02:34:19Z) - Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。
脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳(メタデータ) (2024-03-25T13:09:40Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳(メタデータ) (2024-03-18T19:13:02Z) - Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane [58.871015937204255]
変形性組織を再建するための高速直交平面(Fast Orthogonal Plane)を導入する。
我々は外科手術を4Dボリュームとして概念化し、それらをニューラルネットワークからなる静的および動的フィールドに分解する。
この分解により4次元空間が増加し、メモリ使用量が減少し、最適化が高速化される。
論文 参考訳(メタデータ) (2023-12-23T13:27:50Z) - BASED: Bundle-Adjusting Surgical Endoscopic Dynamic Video Reconstruction using Neural Radiance Fields [5.773068487121897]
内視鏡的映像から変形可能なシーンを再現することは,多くの応用において重要である。
我々の研究は、シーンの3D暗黙的表現を学習するために、NeRF(Neural Radiance Fields)アプローチを採用しています。
本稿では,ロボット手術の内視鏡的手術シーンについて述べる。
論文 参考訳(メタデータ) (2023-09-27T00:20:36Z) - SAMSNeRF: Segment Anything Model (SAM) Guides Dynamic Surgical Scene
Reconstruction by Neural Radiance Field (NeRF) [4.740415113160021]
本稿では,Segment Anything Model(SAM)とNeRF技術を組み合わせたSAMSNeRFという新しい手法を提案する。
内視鏡下外科的画像を用いた実験の結果,高忠実度ダイナミックな手術シーンの再構築に成功していることが示された。
論文 参考訳(メタデータ) (2023-08-22T20:31:00Z) - Neural LerPlane Representations for Fast 4D Reconstruction of Deformable
Tissues [52.886545681833596]
LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。
LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。
LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
論文 参考訳(メタデータ) (2023-05-31T14:38:35Z) - Live image-based neurosurgical guidance and roadmap generation using
unsupervised embedding [53.992124594124896]
本稿では,注釈付き脳外科ビデオの大規模なデータセットを活用するライブ画像のみのガイダンスを提案する。
生成されたロードマップは、トレーニングセットの手術で取られた一般的な解剖学的パスをエンコードする。
166例の腹腔鏡下腺摘出術を施行し,本法の有効性について検討した。
論文 参考訳(メタデータ) (2023-03-31T12:52:24Z) - Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in
Robotic Surgery [18.150476919815382]
内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。
これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。
近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2022-06-30T13:06:27Z) - Searching for Efficient Architecture for Instrument Segmentation in
Robotic Surgery [58.63306322525082]
ほとんどのアプリケーションは、高解像度の外科画像の正確なリアルタイムセグメンテーションに依存している。
我々は,高解像度画像のリアルタイム推論を行うために調整された,軽量で高効率なディープ残差アーキテクチャを設計する。
論文 参考訳(メタデータ) (2020-07-08T21:38:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。