論文の概要: SAMSNeRF: Segment Anything Model (SAM) Guides Dynamic Surgical Scene Reconstruction by Neural Radiance Field (NeRF)

• arxiv url: http://arxiv.org/abs/2308.11774v2
• Date: Tue, 6 Feb 2024 04:29:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 20:26:17.857942
• Title: SAMSNeRF: Segment Anything Model (SAM) Guides Dynamic Surgical Scene Reconstruction by Neural Radiance Field (NeRF)
• Title（参考訳）: samsnerf: segment anything model(sam)はneural radiance field(nerf)によるダイナミックな手術シーンの再構築をガイドする。
• Authors: Ange Lou, Yamin Li, Xing Yao, Yike Zhang and Jack Noble
• Abstract要約: 本稿では,Segment Anything Model(SAM)とNeRF技術を組み合わせたSAMSNeRFという新しい手法を提案する。 内視鏡下外科的画像を用いた実験の結果,高忠実度ダイナミックな手術シーンの再構築に成功していることが示された。
• 参考スコア（独自算出の注目度）: 4.740415113160021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The accurate reconstruction of surgical scenes from surgical videos is critical for various applications, including intraoperative navigation and image-guided robotic surgery automation. However, previous approaches, mainly relying on depth estimation, have limited effectiveness in reconstructing surgical scenes with moving surgical tools. To address this limitation and provide accurate 3D position prediction for surgical tools in all frames, we propose a novel approach called SAMSNeRF that combines Segment Anything Model (SAM) and Neural Radiance Field (NeRF) techniques. Our approach generates accurate segmentation masks of surgical tools using SAM, which guides the refinement of the dynamic surgical scene reconstruction by NeRF. Our experimental results on public endoscopy surgical videos demonstrate that our approach successfully reconstructs high-fidelity dynamic surgical scenes and accurately reflects the spatial information of surgical tools. Our proposed approach can significantly enhance surgical navigation and automation by providing surgeons with accurate 3D position information of surgical tools during surgery.The source code will be released soon.
• Abstract（参考訳）: 手術映像からの手術シーンの正確な再構成は, 術中ナビゲーションや画像誘導ロボット手術自動化など, 様々な応用に不可欠である。 しかし,従来のアプローチは主に深度推定に頼っているため,移動式手術器具による手術シーンの再構築には限界がある。 この制限に対処し,すべてのフレームにおける手術器具の正確な3次元位置予測を行うため,Segment Anything Model (SAM) とNeRF(NeRF)技術を組み合わせたSAMSNeRFと呼ばれる新しいアプローチを提案する。 提案手法は,NeRFによる動的手術シーン再構築の洗練を導くSAMを用いて,手術器具の正確なセグメンテーションマスクを生成する。 腹腔鏡下手術ビデオにおける実験結果から,本手法は高忠実度ダイナミックな手術場面を再現し,手術器具の空間情報を正確に反映する。 提案手法は手術時の手術器具の正確な3次元位置情報を外科医に提供することで,手術ナビゲーションと自動化を大幅に向上させることができる。

関連論文リスト

• SurgicalGaussian: Deformable 3D Gaussians for High-Fidelity Surgical Scene Reconstruction [17.126895638077574]
  内視鏡的ビデオにおける変形性組織の動的再構成は、ロボット支援手術の鍵となる技術である。 NeRFは、シーン内のオブジェクトの複雑な詳細をキャプチャするのに苦労します。 我々のネットワークは、レンダリング品質、レンダリング速度、GPU使用率など、多くの面で既存の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-06T09:31:30Z)
• Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
  手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。 脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。 5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
  論文  参考訳（メタデータ） (2024-03-25T13:09:40Z)
• BASED: Bundle-Adjusting Surgical Endoscopic Dynamic Video Reconstruction using Neural Radiance Fields [5.773068487121897]
  内視鏡的映像から変形可能なシーンを再現することは,多くの応用において重要である。 我々の研究は、シーンの3D暗黙的表現を学習するために、NeRF(Neural Radiance Fields)アプローチを採用しています。 本稿では,ロボット手術の内視鏡的手術シーンについて述べる。
  論文  参考訳（メタデータ） (2023-09-27T00:20:36Z)
• Neural LerPlane Representations for Fast 4D Reconstruction of Deformable Tissues [52.886545681833596]
  LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。 LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。 LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
  論文  参考訳（メタデータ） (2023-05-31T14:38:35Z)
• Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [66.74633676595889]
  静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。 第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。 第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
  論文  参考訳（メタデータ） (2023-05-05T13:42:19Z)
• Live image-based neurosurgical guidance and roadmap generation using unsupervised embedding [53.992124594124896]
  本稿では,注釈付き脳外科ビデオの大規模なデータセットを活用するライブ画像のみのガイダンスを提案する。 生成されたロードマップは、トレーニングセットの手術で取られた一般的な解剖学的パスをエンコードする。 166例の腹腔鏡下腺摘出術を施行し,本法の有効性について検討した。
  論文  参考訳（メタデータ） (2023-03-31T12:52:24Z)
• Self-Supervised Surgical Instrument 3D Reconstruction from a Single Camera Image [0.0]
  正確な3D手術器具モデルは、楽器のポーズと深さを正確に予測するための前提条件である。 近年の1次元3次元再構成法は, 自然物復元にのみ用いられている。 本稿では, 外科用器具の自己管理型再建システムを提案する。
  論文  参考訳（メタデータ） (2022-11-26T03:21:31Z)
• Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in Robotic Surgery [18.150476919815382]
  内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。 これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。 近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-06-30T13:06:27Z)
• CholecTriplet2021: A benchmark challenge for surgical action triplet recognition [66.51610049869393]
  腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。 課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。 4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
  論文  参考訳（メタデータ） (2022-04-10T18:51:55Z)
• E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with Transformer-based Stereoscopic Depth Perception [15.927060244702686]
  28 fpsの高ダイナミックな手術シーンに対して,効率的な再建パイプラインを提案する。 具体的には,効率的な深度推定のための変圧器を用いた立体視深度知覚を設計する。 提案したパイプラインを,公開Hamlyn Centre内視鏡ビデオデータセットと社内のDaVinciロボット手術データセットの2つのデータセットで評価した。
  論文  参考訳（メタデータ） (2021-07-01T05:57:41Z)
• Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical Procedures [70.69948035469467]
  カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。 次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
  論文  参考訳（メタデータ） (2021-06-09T14:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。