論文の概要: BASED: Bundle-Adjusting Surgical Endoscopic Dynamic Video Reconstruction using Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2309.15329v2
• Date: Tue, 6 Aug 2024 19:51:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 18:23:43.543618
• Title: BASED: Bundle-Adjusting Surgical Endoscopic Dynamic Video Reconstruction using Neural Radiance Fields
• Title（参考訳）: BASED: 神経放射場を用いた束調整型内視鏡的ダイナミックビデオ再構成
• Authors: Shreya Saha, Zekai Liang, Shan Lin, Jingpei Lu, Michael Yip, Sainan Liu,
• Abstract要約: 内視鏡的映像から変形可能なシーンを再現することは,多くの応用において重要である。 我々の研究は、シーンの3D暗黙的表現を学習するために、NeRF(Neural Radiance Fields)アプローチを採用しています。 本稿では,ロボット手術の内視鏡的手術シーンについて述べる。
• 参考スコア（独自算出の注目度）: 5.773068487121897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstruction of deformable scenes from endoscopic videos is important for many applications such as intraoperative navigation, surgical visual perception, and robotic surgery. It is a foundational requirement for realizing autonomous robotic interventions for minimally invasive surgery. However, previous approaches in this domain have been limited by their modular nature and are confined to specific camera and scene settings. Our work adopts the Neural Radiance Fields (NeRF) approach to learning 3D implicit representations of scenes that are both dynamic and deformable over time, and furthermore with unknown camera poses. We demonstrate this approach on endoscopic surgical scenes from robotic surgery. This work removes the constraints of known camera poses and overcomes the drawbacks of the state-of-the-art unstructured dynamic scene reconstruction technique, which relies on the static part of the scene for accurate reconstruction. Through several experimental datasets, we demonstrate the versatility of our proposed model to adapt to diverse camera and scene settings, and show its promise for both current and future robotic surgical systems.
• Abstract（参考訳）: 内視鏡的映像からの変形可能なシーンの再構成は、術中ナビゲーション、外科的視覚知覚、ロボット手術など多くの応用において重要である。 これは、最小侵襲手術のための自律的なロボット介入を実現するための基本的な要件である。 しかし、この領域の以前のアプローチはモジュラーの性質によって制限されており、特定のカメラやシーン設定に限られていた。 我々の研究はNeural Radiance Fields(NeRF)アプローチを採用して、時間とともに動的かつ変形可能なシーンの3D暗黙表現を学習し、さらに未知のカメラのポーズで撮影する。 本稿では,ロボット手術の内視鏡的手術シーンについて述べる。 この研究は、既知のカメラポーズの制約を取り除き、シーンの静的部分に依存する最先端の非構造的動的シーン再構築技術の欠点を克服する。 いくつかの実験データセットを通じて,多様なカメラやシーン設定に適応するための提案モデルの汎用性を実証し,現在および将来の手術システムに対するその可能性を示す。

関連論文リスト

• Intraoperative Registration by Cross-Modal Inverse Neural Rendering [61.687068931599846]
  クロスモーダル逆ニューラルレンダリングによる神経外科手術における術中3D/2Dレジストレーションのための新しいアプローチを提案する。 本手法では,暗黙の神経表現を2つの構成要素に分離し,術前および術中における解剖学的構造について検討した。 臨床症例の振り返りデータを用いて本法の有効性を検証し,現在の登録基準を満たした状態での最先端の検査成績を示した。
  論文  参考訳（メタデータ） (2024-09-18T13:40:59Z)
• SurgicalGaussian: Deformable 3D Gaussians for High-Fidelity Surgical Scene Reconstruction [17.126895638077574]
  内視鏡的ビデオにおける変形性組織の動的再構成は、ロボット支援手術の鍵となる技術である。 NeRFは、シーン内のオブジェクトの複雑な詳細をキャプチャするのに苦労します。 我々のネットワークは、レンダリング品質、レンダリング速度、GPU使用率など、多くの面で既存の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-06T09:31:30Z)
• Vision-Based Neurosurgical Guidance: Unsupervised Localization and Camera-Pose Prediction [41.91807060434709]
  内視鏡的処置中に自分自身を位置決めすることは、区別可能なテクスチャやランドマークが欠如しているため、問題となることがある。 本稿では,解剖学的認識に基づく深層学習手法を提案する。
  論文  参考訳（メタデータ） (2024-05-15T14:09:11Z)
• Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
  手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。 脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。 5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
  論文  参考訳（メタデータ） (2024-03-25T13:09:40Z)
• FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
  内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。 変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。 複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。 これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
  論文  参考訳（メタデータ） (2024-03-18T19:13:02Z)
• SAMSNeRF: Segment Anything Model (SAM) Guides Dynamic Surgical Scene Reconstruction by Neural Radiance Field (NeRF) [4.740415113160021]
  本稿では,Segment Anything Model(SAM)とNeRF技術を組み合わせたSAMSNeRFという新しい手法を提案する。 内視鏡下外科的画像を用いた実験の結果,高忠実度ダイナミックな手術シーンの再構築に成功していることが示された。
  論文  参考訳（メタデータ） (2023-08-22T20:31:00Z)
• Live image-based neurosurgical guidance and roadmap generation using unsupervised embedding [53.992124594124896]
  本稿では,注釈付き脳外科ビデオの大規模なデータセットを活用するライブ画像のみのガイダンスを提案する。 生成されたロードマップは、トレーニングセットの手術で取られた一般的な解剖学的パスをエンコードする。 166例の腹腔鏡下腺摘出術を施行し,本法の有効性について検討した。
  論文  参考訳（メタデータ） (2023-03-31T12:52:24Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in Robotic Surgery [18.150476919815382]
  内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。 これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。 近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-06-30T13:06:27Z)
• E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with Transformer-based Stereoscopic Depth Perception [15.927060244702686]
  28 fpsの高ダイナミックな手術シーンに対して,効率的な再建パイプラインを提案する。 具体的には,効率的な深度推定のための変圧器を用いた立体視深度知覚を設計する。 提案したパイプラインを,公開Hamlyn Centre内視鏡ビデオデータセットと社内のDaVinciロボット手術データセットの2つのデータセットで評価した。
  論文  参考訳（メタデータ） (2021-07-01T05:57:41Z)
• Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical Procedures [70.69948035469467]
  カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。 次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
  論文  参考訳（メタデータ） (2021-06-09T14:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。