論文の概要: SurgPointTransformer: Vertebrae Shape Completion with RGB-D Data
- arxiv url: http://arxiv.org/abs/2410.01443v2
- Date: Thu, 3 Oct 2024 14:14:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 17:44:25.225422
- Title: SurgPointTransformer: Vertebrae Shape Completion with RGB-D Data
- Title（参考訳）: SurgPointTransformer: RGB-DデータによるVertebrae形状補完
- Authors: Aidana Massalimova, Florentin Liebmann, Sascha Jecklin, Fabio Carrillo, Farshad Mazda, Philipp Fürnstahl,
- Abstract要約: 本研究は,RGB-Dデータを用いた3次元脊椎解剖の再構築のための代替的,放射線のないアプローチを提案する。
SurgPointTransformerは, 表面の粗い観察から未露出の脊椎領域を正確に再構築できる手術用形状補修法である。
提案手法は,平均チャンファー距離5.39,Fスコア0.85,アースモーバー距離0.011,信号対雑音比22.90dBを達成し,最先端のベースラインを著しく上回る。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: State-of-the-art computer- and robot-assisted surgery systems heavily depend on intraoperative imaging technologies such as CT and fluoroscopy to generate detailed 3D visualization of the patient's anatomy. While imaging techniques are highly accurate, they are based on ionizing radiation and expose patients and clinicians. This study introduces an alternative, radiation-free approach for reconstructing the 3D spine anatomy using RGB-D data. Drawing inspiration from the 3D "mental map" that surgeons form during surgeries, we introduce SurgPointTransformer, a shape completion approach for surgical applications that can accurately reconstruct the unexposed spine regions from sparse observations of the exposed surface. Our method involves two main steps: segmentation and shape completion. The segmentation step includes spinal column localization and segmentation, followed by vertebra-wise segmentation. The segmented vertebra point clouds are then subjected to SurgPointTransformer, which leverages an attention mechanism to learn patterns between visible surface features and the underlying anatomy. For evaluation, we utilize an ex-vivo dataset of nine specimens. Their CT data is used to establish ground truth data that were used to compare to the outputs of our methods. Our method significantly outperforms the state-of-the-art baselines, achieving an average Chamfer Distance of 5.39, an F-Score of 0.85, an Earth Mover's Distance of 0.011, and a Signal-to-Noise Ratio of 22.90 dB. This study demonstrates the potential of our reconstruction method for 3D vertebral shape completion. It enables 3D reconstruction of the entire lumbar spine and surgical guidance without ionizing radiation or invasive imaging. Our work contributes to computer-aided and robot-assisted surgery, advancing the perception and intelligence of these systems.
- Abstract（参考訳）: 最先端のコンピュータおよびロボット支援手術システムは、患者の解剖の詳細な3D可視化を作成するために、CTや蛍光顕微鏡などの術中イメージング技術に大きく依存している。
撮像技術は非常に正確であるが、電離放射線をベースとし、患者や臨床医を露出させる。
本研究は,RGB-Dデータを用いた3次元脊椎解剖の再構築のための代替的,放射線のないアプローチを提案する。
手術中に外科医が形成する3D「メンタルマップ」からインスピレーションを得たSurgPointTransformerを紹介した。
提案手法は, 分割と形状完備化の2つの主要なステップを含む。
セグメンテーションのステップは、脊柱の局在とセグメンテーションを含み、続いて脊椎のワイドセグメンテーションが続く。
SurgPointTransformerは、目に見える表面の特徴と下層の解剖学の間のパターンを学習するための注意機構を利用する。
評価には,9標本の生検データセットを用いた。
それらのCTデータを用いて,提案手法の出力と比較した真理データを確立する。
提案手法は,平均チャンファー距離5.39,Fスコア0.85,アースモーバー距離0.011,信号対雑音比22.90dBを達成し,最先端のベースラインを著しく上回る。
本研究は3次元椎体形状復元法の可能性を示すものである。
これにより、電離放射線や侵襲的イメージングを伴わずに、腰椎全体を3Dで再構築し、手術指導を行うことができる。
我々の研究は、コンピュータ支援とロボット支援の手術に寄与し、これらのシステムの知覚と知性を前進させます。
関連論文リスト
- Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。
脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳（メタデータ） (2024-03-25T13:09:40Z) - CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。
ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。
我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
論文 参考訳（メタデータ） (2024-03-21T15:13:36Z) - Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data [9.21828361691977]
本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。
これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。
これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
論文 参考訳（メタデータ） (2024-01-29T10:22:45Z) - X-Ray to CT Rigid Registration Using Scene Coordinate Regression [1.1687067206676627]
本稿では,極端視点に頑健な完全自動登録手法を提案する。
これは、与えられたX線画像の重なり合う座標を回帰する完全な畳み込みニューラルネットワーク(CNN)に基づいている。
提案手法は, 模擬試験データセットの50パーセンタイルにおける平均平均目標登録誤差(mTRE)を3.79mmとし, ペルビス登録のための実フルオロスコープ画像の50パーセンタイルにおける平均目標登録誤差(mTRE)を9.65mmと予測した。
論文 参考訳（メタデータ） (2023-11-25T17:48:46Z) - AiAReSeg: Catheter Detection and Segmentation in Interventional
Ultrasound using Transformers [75.20925220246689]
血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。
本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
論文 参考訳（メタデータ） (2023-09-25T19:34:12Z) - A unified 3D framework for Organs at Risk Localization and Segmentation
for Radiation Therapy Planning [56.52933974838905]
現在の医療ワークフローは、OAR(Organs-at-risk)のマニュアル記述を必要とする
本研究は,OARローカライゼーション・セグメンテーションのための統合された3Dパイプラインの導入を目的とする。
提案手法は医用画像に固有の3Dコンテキスト情報の活用を可能にする。
論文 参考訳（メタデータ） (2022-03-01T17:08:41Z) - MedNeRF: Medical Neural Radiance Fields for Reconstructing 3D-aware
CT-Projections from a Single X-ray [14.10611608681131]
過剰な電離放射線は、体に決定論的かつ有害な影響をもたらす可能性がある。
本稿では,CTプロジェクションの再構成を学習する深層学習モデルを提案する。
論文 参考訳（メタデータ） (2022-02-02T13:25:23Z) - Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization
for Learning-Based Navigation in Robot-Assisted Surgery [37.14020061063255]
微小侵襲手術(MIS)における解剖情報と腹腔鏡位置の計算はロボット支援手術ナビゲーションの基本ブロックである
本稿では,複雑な解剖学的構造の3次元再構成による画像誘導腹腔鏡像の局在化を実現するための学習駆動型フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-08T06:12:18Z) - XraySyn: Realistic View Synthesis From a Single Radiograph Through CT
Priors [118.27130593216096]
放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。
私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。
本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
論文 参考訳（メタデータ） (2020-12-04T05:08:53Z) - Tattoo tomography: Freehand 3D photoacoustic image reconstruction with
an optical pattern [49.240017254888336]
光音響トモグラフィ(PAT)は、形態学的および機能的組織特性の両方を解決することができる新しいイメージング技術である。
現在の欠点は、従来の2Dプローブによって提供される視野の制限である。
本研究では,外部追跡システムを必要としないPATデータの3次元再構成手法を提案する。
論文 参考訳（メタデータ） (2020-11-10T09:27:56Z) - Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor
Segmentation [0.8397730500554047]
腎腫瘍と腎腫瘍をCT画像から自動的に分離するマルチスケール3D U-Net(MSS U-Net)を提案する。
我々のアーキテクチャは、3次元U-Netトレーニング効率を高めるために、深い監視と指数対数損失を組み合わせる。
このアーキテクチャは、KiTS19パブリックデータセットのデータを使用した最先端の作業と比較して、優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2020-04-17T08:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。