論文の概要: Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data

• arxiv url: http://arxiv.org/abs/2401.16027v2
• Date: Tue, 18 Jun 2024 09:00:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 04:34:53.945581
• Title: Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data
• Title（参考訳）: リアル蛍光データを用いた腰椎3次元再建のための領域適応法
• Authors: Sascha Jecklin, Youyang Shen, Amandine Gout, Daniel Suter, Lilian Calvet, Lukas Zingg, Jennifer Straub, Nicola Alessandro Cavalcanti, Mazda Farshad, Philipp Fürnstahl, Hooman Esfandiari,
• Abstract要約: 本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。 これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。 これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
• 参考スコア（独自算出の注目度）: 9.21828361691977
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This study tackles key obstacles in adopting surgical navigation in orthopedic surgeries, including time, cost, radiation, and workflow integration challenges. Recently, our work X23D showed an approach for generating 3D anatomical models of the spine from only a few intraoperative fluoroscopic images. This negates the need for conventional registration-based surgical navigation by creating a direct intraoperative 3D reconstruction of the anatomy. Despite these strides, the practical application of X23D has been limited by a domain gap between synthetic training data and real intraoperative images. In response, we devised a novel data collection protocol for a paired dataset consisting of synthetic and real fluoroscopic images from the same perspectives. Utilizing this dataset, we refined our deep learning model via transfer learning, effectively bridging the domain gap between synthetic and real X-ray data. A novel style transfer mechanism also allows us to convert real X-rays to mirror the synthetic domain, enabling our in-silico-trained X23D model to achieve high accuracy in real-world settings. Our results demonstrated that the refined model can rapidly generate accurate 3D reconstructions of the entire lumbar spine from as few as three intraoperative fluoroscopic shots. It achieved an 84% F1 score, matching the accuracy of our previous synthetic data-based research. Additionally, with a computational time of only 81.1 ms, our approach provides real-time capabilities essential for surgery integration. Through examining ideal imaging setups and view angle dependencies, we've further confirmed our system's practicality and dependability in clinical settings. Our research marks a significant step forward in intraoperative 3D reconstruction, offering enhancements to surgical planning, navigation, and robotics.
• Abstract（参考訳）: 本研究は,整形外科手術において,時間,費用,放射線,ワークフロー統合といった重要な障害に対処する。 近年,術中蛍光画像のみから脊椎の3次元解剖学的モデルを作成する方法が提案されている。 これにより,従来の登録型手術ナビゲーションの必要性が否定される。 これらの進歩にもかかわらず、X23Dの実用化は、合成トレーニングデータと実際の術中画像との領域ギャップによって制限されている。 そこで我々は,同じ視点から合成および実蛍光画像からなるペアデータセットのための新しいデータ収集プロトコルを考案した。 このデータセットを利用することで、トランスファーラーニングによるディープラーニングモデルを洗練し、合成X線と実際のX線データの領域ギャップを効果的に埋める。 また,本手法では,X線を合成領域のミラーに変換することで,実世界の環境において高精度なX23Dモデルを実現することができる。 以上の結果より, 改良したモデルでは, 術中3枚のフルオロスコープ画像から, 腰椎の3次元再構築を迅速に行うことが可能であることが示唆された。 これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。 さらに,81.1msの計算時間で,手術統合に必要なリアルタイム機能を実現する。 理想的な画像設定と視角依存性を調べることで,臨床環境におけるシステムの実用性と信頼性をさらに確認した。 我々の研究は、手術計画、ナビゲーション、ロボティクスの強化など、術中の3D再構築において大きな前進を見せています。

関連論文リスト

• Realistic Surgical Image Dataset Generation Based On 3D Gaussian Splatting [3.5351922399745166]
  本研究は, 合成外科用データセットを生成するために3次元ガウススプラッティングを用いた新しい手法を提案する。 手術現場でツールやカメラのポーズとともに画像を取得することのできるデータ記録システムを開発した。 このポーズデータを用いて、シーンを合成的に再現し、合成画像の品質を直接比較できるようにする。
  論文  参考訳（メタデータ） (2024-07-20T11:20:07Z)
• Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
  手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。 脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。 5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
  論文  参考訳（メタデータ） (2024-03-25T13:09:40Z)
• CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
  縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。 ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。 我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
  論文  参考訳（メタデータ） (2024-03-21T15:13:36Z)
• X-Ray to CT Rigid Registration Using Scene Coordinate Regression [1.1687067206676627]
  本稿では,極端視点に頑健な完全自動登録手法を提案する。 これは、与えられたX線画像の重なり合う座標を回帰する完全な畳み込みニューラルネットワーク(CNN)に基づいている。 提案手法は, 模擬試験データセットの50パーセンタイルにおける平均平均目標登録誤差(mTRE)を3.79mmとし, ペルビス登録のための実フルオロスコープ画像の50パーセンタイルにおける平均目標登録誤差(mTRE)を9.65mmと予測した。
  論文  参考訳（メタデータ） (2023-11-25T17:48:46Z)
• AiAReSeg: Catheter Detection and Segmentation in Interventional Ultrasound using Transformers [75.20925220246689]
  血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。 本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T19:34:12Z)
• SyntheX: Scaling Up Learning-based X-ray Image Analysis Through In Silico Experiments [12.019996672009375]
  人間のモデルからリアルなシミュレートされた画像を作成することは、大規模なIn situデータ収集の代替となることを示す。 人体モデルからの学習データの合成は、容易にスケールできるので、我々がSyntheXと呼ぶX線画像解析のためのモデル転送パラダイムが、実際のデータ学習モデルよりも優れていることが分かりました。
  論文  参考訳（メタデータ） (2022-06-13T13:08:41Z)
• Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization for Learning-Based Navigation in Robot-Assisted Surgery [37.14020061063255]
  微小侵襲手術(MIS)における解剖情報と腹腔鏡位置の計算はロボット支援手術ナビゲーションの基本ブロックである 本稿では,複雑な解剖学的構造の3次元再構成による画像誘導腹腔鏡像の局在化を実現するための学習駆動型フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-08T06:12:18Z)
• A parameter refinement method for Ptychography based on Deep Learning concepts [55.41644538483948]
  伝播距離、位置誤差、部分的コヒーレンスにおける粗いパラメトリゼーションは、しばしば実験の生存性を脅かす。 最新のDeep Learningフレームワークは、セットアップの不整合を自律的に補正するために使用され、ポチコグラフィーの再構築の質が向上する。 我々は,elettra シンクロトロン施設のツインミックビームラインで取得した合成データセットと実データの両方でシステムをテストした。
  論文  参考訳（メタデータ） (2021-05-18T10:15:17Z)
• Deep Learning compatible Differentiable X-ray Projections for Inverse Rendering [8.926091372824942]
  距離マップを生成するために、メッシュ内部の線状構造によって移動される距離を導出して微分可能とする。 骨盤の実際の2次元蛍光画像から3次元モデルを再構成する逆問題(逆問題)を解くことにより,その応用を示す。
  論文  参考訳（メタデータ） (2021-02-04T22:06:05Z)
• XraySyn: Realistic View Synthesis From a Single Radiograph Through CT Priors [118.27130593216096]
  放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。 私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。 本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
  論文  参考訳（メタデータ） (2020-12-04T05:08:53Z)
• Tattoo tomography: Freehand 3D photoacoustic image reconstruction with an optical pattern [49.240017254888336]
  光音響トモグラフィ(PAT)は、形態学的および機能的組織特性の両方を解決することができる新しいイメージング技術である。 現在の欠点は、従来の2Dプローブによって提供される視野の制限である。 本研究では,外部追跡システムを必要としないPATデータの3次元再構成手法を提案する。
  論文  参考訳（メタデータ） (2020-11-10T09:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。