論文の概要: BASED: Bundle-Adjusting Surgical Endoscopic Dynamic Video Reconstruction
using Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2309.15329v1
- Date: Wed, 27 Sep 2023 00:20:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-28 17:06:32.823874
- Title: BASED: Bundle-Adjusting Surgical Endoscopic Dynamic Video Reconstruction
using Neural Radiance Fields
- Title(参考訳): BASED: 神経放射場を用いた鏡視下動的ビデオ再構成
- Authors: Shreya Saha, Sainan Liu, Shan Lin, Jingpei Lu, Michael Yip
- Abstract要約: 内視鏡的映像から変形可能なシーンを再現することは,多くの応用において重要である。
我々の研究は、シーンの3D暗黙的表現を学習するために、NeRF(Neural Radiance Fields)アプローチを採用しています。
本稿では,ロボット手術の内視鏡的手術シーンについて述べる。
- 参考スコア(独自算出の注目度): 6.5628505052520865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstruction of deformable scenes from endoscopic videos is important for
many applications such as intraoperative navigation, surgical visual
perception, and robotic surgery. It is a foundational requirement for realizing
autonomous robotic interventions for minimally invasive surgery. However,
previous approaches in this domain have been limited by their modular nature
and are confined to specific camera and scene settings. Our work adopts the
Neural Radiance Fields (NeRF) approach to learning 3D implicit representations
of scenes that are both dynamic and deformable over time, and furthermore with
unknown camera poses. We demonstrate this approach on endoscopic surgical
scenes from robotic surgery. This work removes the constraints of known camera
poses and overcomes the drawbacks of the state-of-the-art unstructured dynamic
scene reconstruction technique, which relies on the static part of the scene
for accurate reconstruction. Through several experimental datasets, we
demonstrate the versatility of our proposed model to adapt to diverse camera
and scene settings, and show its promise for both current and future robotic
surgical systems.
- Abstract(参考訳): 内視鏡的映像からの変形可能なシーンの再構成は, 術中ナビゲーション, 手術視知覚, ロボット手術など多くの応用において重要である。
最小侵襲手術のための自律的なロボット介入を実現するための基本的な要件である。
しかし、この領域の以前のアプローチはモジュール性によって制限されており、特定のカメラやシーン設定に限定されていた。
我々の研究はNeural Radiance Fields(NeRF)アプローチを採用して、時間とともに動的かつ変形可能なシーンの3D暗黙表現を学習し、さらに未知のカメラのポーズで撮影する。
このアプローチをロボット手術の内視鏡的手術場面で実演する。
この研究は、既知のカメラポーズの制約を取り除き、正確な再構成のためにシーンの静的部分に依存する最先端の非構造化動的シーン再構築技術の欠点を克服するものである。
いくつかの実験データセットを通じて,提案モデルの汎用性を実証し,多彩なカメラ設定とシーン設定に適応し,ロボット手術システムへの期待を示す。
関連論文リスト
- SAMSNeRF: Segment Anything Model (SAM) Guides Dynamic Surgical Scene
Reconstruction by Neural Radiance Field (NeRF) [4.740415113160021]
本稿では,Segment Anything Model(SAM)とNeRF技術を組み合わせたSAMSNeRFという新しい手法を提案する。
内視鏡下外科的画像を用いた実験の結果,高忠実度ダイナミックな手術シーンの再構築に成功していることが示された。
論文 参考訳(メタデータ) (2023-08-22T20:31:00Z) - Neural LerPlane Representations for Fast 4D Reconstruction of Deformable
Tissues [52.886545681833596]
LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。
LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。
LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
論文 参考訳(メタデータ) (2023-05-31T14:38:35Z) - Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose
Estimation of Surgical Instruments [66.74633676595889]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。
第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。
第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文 参考訳(メタデータ) (2023-05-05T13:42:19Z) - Learning How To Robustly Estimate Camera Pose in Endoscopic Videos [5.073761189475753]
カメラポーズ推定における2つの幾何学的損失を最小限に抑えるために,奥行きと光学的流れを推定するステレオ内視鏡の解を提案する。
最も重要なことは、入力画像の内容に応じてコントリビューションのバランスをとるために、2つの学習された画素単位の重みマッピングを導入することである。
パブリックなSCAREDデータセットに対する我々のアプローチを検証するとともに、新たなインビボデータセットであるStereoMISを導入しています。
論文 参考訳(メタデータ) (2023-04-17T07:05:01Z) - Live image-based neurosurgical guidance and roadmap generation using
unsupervised embedding [53.992124594124896]
本稿では,注釈付き脳外科ビデオの大規模なデータセットを活用するライブ画像のみのガイダンスを提案する。
生成されたロードマップは、トレーニングセットの手術で取られた一般的な解剖学的パスをエンコードする。
166例の腹腔鏡下腺摘出術を施行し,本法の有効性について検討した。
論文 参考訳(メタデータ) (2023-03-31T12:52:24Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in
Robotic Surgery [18.150476919815382]
内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。
これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。
近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2022-06-30T13:06:27Z) - E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with
Transformer-based Stereoscopic Depth Perception [15.927060244702686]
28 fpsの高ダイナミックな手術シーンに対して,効率的な再建パイプラインを提案する。
具体的には,効率的な深度推定のための変圧器を用いた立体視深度知覚を設計する。
提案したパイプラインを,公開Hamlyn Centre内視鏡ビデオデータセットと社内のDaVinciロボット手術データセットの2つのデータセットで評価した。
論文 参考訳(メタデータ) (2021-07-01T05:57:41Z) - Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical
Procedures [70.69948035469467]
カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。
次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
論文 参考訳(メタデータ) (2021-06-09T14:35:44Z) - Neural Actor: Neural Free-view Synthesis of Human Actors with Pose
Control [80.79820002330457]
任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。
提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
論文 参考訳(メタデータ) (2021-06-03T17:40:48Z) - Spatiotemporal-Aware Augmented Reality: Redefining HCI in Image-Guided
Therapy [39.370739217840594]
拡張現実(AR)はこの10年で手術室に導入されている。
本稿では、ヘッドマウントディスプレイの利点をフル活用して、模範的な可視化をいかに再定義するかを示す。
X線画像の幾何学的および物理的特性からシステムの認識は、異なるヒューマン・マシン・インタフェースの再定義を可能にする。
論文 参考訳(メタデータ) (2020-03-04T18:59:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。