論文の概要: Domain adaptation strategies for 3D reconstruction of the lumbar spine
using real fluoroscopy data
- arxiv url: http://arxiv.org/abs/2401.16027v1
- Date: Mon, 29 Jan 2024 10:22:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 15:16:46.496609
- Title: Domain adaptation strategies for 3D reconstruction of the lumbar spine
using real fluoroscopy data
- Title(参考訳): real fluoroscopy data を用いた腰椎3次元再建のための領域適応戦略
- Authors: Sascha Jecklin, Youyang Shen, Amandine Gout, Daniel Suter, Lilian
Calvet, Lukas Zingg, Jennifer Straub, Nicola Alessandro Cavalcanti, Mazda
Farshad, Philipp F\"urnstahl, Hooman Esfandiari
- Abstract要約: 本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。
これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。
これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
- 参考スコア(独自算出の注目度): 9.42467375312292
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This study tackles key obstacles in adopting surgical navigation in
orthopedic surgeries, including time, cost, radiation, and workflow integration
challenges. Recently, our work X23D showed an approach for generating 3D
anatomical models of the spine from only a few intraoperative fluoroscopic
images. This negates the need for conventional registration-based surgical
navigation by creating a direct intraoperative 3D reconstruction of the
anatomy. Despite these strides, the practical application of X23D has been
limited by a domain gap between synthetic training data and real intraoperative
images.
In response, we devised a novel data collection protocol for a paired dataset
consisting of synthetic and real fluoroscopic images from the same
perspectives. Utilizing this dataset, we refined our deep learning model via
transfer learning, effectively bridging the domain gap between synthetic and
real X-ray data. A novel style transfer mechanism also allows us to convert
real X-rays to mirror the synthetic domain, enabling our in-silico-trained X23D
model to achieve high accuracy in real-world settings.
Our results demonstrated that the refined model can rapidly generate accurate
3D reconstructions of the entire lumbar spine from as few as three
intraoperative fluoroscopic shots. It achieved an 84% F1 score, matching the
accuracy of our previous synthetic data-based research. Additionally, with a
computational time of only 81.1 ms, our approach provides real-time
capabilities essential for surgery integration.
Through examining ideal imaging setups and view angle dependencies, we've
further confirmed our system's practicality and dependability in clinical
settings. Our research marks a significant step forward in intraoperative 3D
reconstruction, offering enhancements to surgical planning, navigation, and
robotics.
- Abstract(参考訳): 本研究は,整形外科手術において,時間,費用,放射線,ワークフロー統合といった重要な障害に対処する。
近年,術中蛍光画像のみから脊椎の3次元解剖学的モデルを作成する方法が提案されている。
これは、解剖学の直接的術中3d再構築を作成することによって、従来の登録に基づく外科的ナビゲーションの必要性を否定する。
これらの進歩にもかかわらず、X23Dの実用化は、合成トレーニングデータと実際の術中画像との領域ギャップによって制限されている。
そこで我々は,同じ視点から合成および実蛍光画像からなるペアデータセットのための新しいデータ収集プロトコルを考案した。
このデータセットを利用することで、トランスファーラーニングによるディープラーニングモデルを洗練し、合成データと実際のX線データの領域ギャップを効果的に埋める。
また,本手法では,X線を合成領域のミラーに変換することで,実世界の環境において高精度なX23Dモデルを実現することができる。
その結果, 鏡視下手術を3回以上行うことで, 腰椎全体の正確な3次元再構築を迅速に行うことができた。
これまでの合成データに基づく研究の精度と一致する84%のF1スコアを達成した。
さらに計算時間はわずか81.1msで,手術統合に必要なリアルタイム機能を提供する。
理想的な画像設定と視角依存性を調べることで,臨床環境におけるシステムの実用性と信頼性をさらに確認した。
私たちの研究は、手術計画、ナビゲーション、ロボティクスの強化により、術中3d再構築の大きな一歩を踏み出した。
関連論文リスト
- Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane [58.871015937204255]
変形性組織を再建するための高速直交平面(Fast Orthogonal Plane)を導入する。
我々は外科手術を4Dボリュームとして概念化し、それらをニューラルネットワークからなる静的および動的フィールドに分解する。
この分解により4次元空間が増加し、メモリ使用量が減少し、最適化が高速化される。
論文 参考訳(メタデータ) (2023-12-23T13:27:50Z) - X-Ray to CT Rigid Registration Using Scene Coordinate Regression [1.1687067206676627]
本稿では,極端視点に頑健な完全自動登録手法を提案する。
これは、与えられたX線画像の重なり合う座標を回帰する完全な畳み込みニューラルネットワーク(CNN)に基づいている。
提案手法は, 模擬試験データセットの50パーセンタイルにおける平均平均目標登録誤差(mTRE)を3.79mmとし, ペルビス登録のための実フルオロスコープ画像の50パーセンタイルにおける平均目標登録誤差(mTRE)を9.65mmと予測した。
論文 参考訳(メタデータ) (2023-11-25T17:48:46Z) - AiAReSeg: Catheter Detection and Segmentation in Interventional
Ultrasound using Transformers [75.20925220246689]
血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。
本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
論文 参考訳(メタデータ) (2023-09-25T19:34:12Z) - SyntheX: Scaling Up Learning-based X-ray Image Analysis Through In
Silico Experiments [12.019996672009375]
人間のモデルからリアルなシミュレートされた画像を作成することは、大規模なIn situデータ収集の代替となることを示す。
人体モデルからの学習データの合成は、容易にスケールできるので、我々がSyntheXと呼ぶX線画像解析のためのモデル転送パラダイムが、実際のデータ学習モデルよりも優れていることが分かりました。
論文 参考訳(メタデータ) (2022-06-13T13:08:41Z) - Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization
for Learning-Based Navigation in Robot-Assisted Surgery [37.14020061063255]
微小侵襲手術(MIS)における解剖情報と腹腔鏡位置の計算はロボット支援手術ナビゲーションの基本ブロックである
本稿では,複雑な解剖学的構造の3次元再構成による画像誘導腹腔鏡像の局在化を実現するための学習駆動型フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-08T06:12:18Z) - A parameter refinement method for Ptychography based on Deep Learning
concepts [55.41644538483948]
伝播距離、位置誤差、部分的コヒーレンスにおける粗いパラメトリゼーションは、しばしば実験の生存性を脅かす。
最新のDeep Learningフレームワークは、セットアップの不整合を自律的に補正するために使用され、ポチコグラフィーの再構築の質が向上する。
我々は,elettra シンクロトロン施設のツインミックビームラインで取得した合成データセットと実データの両方でシステムをテストした。
論文 参考訳(メタデータ) (2021-05-18T10:15:17Z) - Deep Learning compatible Differentiable X-ray Projections for Inverse
Rendering [8.926091372824942]
距離マップを生成するために、メッシュ内部の線状構造によって移動される距離を導出して微分可能とする。
骨盤の実際の2次元蛍光画像から3次元モデルを再構成する逆問題(逆問題)を解くことにより,その応用を示す。
論文 参考訳(メタデータ) (2021-02-04T22:06:05Z) - XraySyn: Realistic View Synthesis From a Single Radiograph Through CT
Priors [118.27130593216096]
放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。
私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。
本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
論文 参考訳(メタデータ) (2020-12-04T05:08:53Z) - Tattoo tomography: Freehand 3D photoacoustic image reconstruction with
an optical pattern [49.240017254888336]
光音響トモグラフィ(PAT)は、形態学的および機能的組織特性の両方を解決することができる新しいイメージング技術である。
現在の欠点は、従来の2Dプローブによって提供される視野の制限である。
本研究では,外部追跡システムを必要としないPATデータの3次元再構成手法を提案する。
論文 参考訳(メタデータ) (2020-11-10T09:27:56Z) - Fader Networks for domain adaptation on fMRI: ABIDE-II study [68.5481471934606]
我々は3次元畳み込みオートエンコーダを用いて、無関係な空間画像表現を実現するとともに、ABIDEデータ上で既存のアプローチより優れていることを示す。
論文 参考訳(メタデータ) (2020-10-14T16:50:50Z) - End-To-End Convolutional Neural Network for 3D Reconstruction of Knee
Bones From Bi-Planar X-Ray Images [6.645111950779666]
両平面X線画像から直接膝骨を3次元再構成するためのエンドツーエンド畳み込みニューラルネットワーク(CNN)を提案する。
論文 参考訳(メタデータ) (2020-04-02T08:37:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。