論文の概要: Phase-Specific Augmented Reality Guidance for Microscopic Cataract Surgery Using Long-Short Spatiotemporal Aggregation Transformer

• arxiv url: http://arxiv.org/abs/2309.05209v2
• Date: Wed, 1 Nov 2023 02:43:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 17:04:53.854105
• Title: Phase-Specific Augmented Reality Guidance for Microscopic Cataract Surgery Using Long-Short Spatiotemporal Aggregation Transformer
• Title（参考訳）: 長短時空間アグリゲーショントランスフォーマを用いた白内障手術のための位相特異的拡張現実誘導
• Authors: Puxun Tu, Hongfei Ye, Haochen Shi, Jeff Young, Meng Xie, Peiquan Zhao, Ce Zheng, Xiaoyi Jiang, Xiaojun Chen
• Abstract要約: 乳化白内障手術(英: Phaemulsification cataract surgery, PCS)は、外科顕微鏡を用いた外科手術である。 PCS誘導システムは、手術用顕微鏡映像から貴重な情報を抽出し、熟練度を高める。 既存のPCSガイダンスシステムでは、位相特異なガイダンスに悩まされ、冗長な視覚情報に繋がる。 本稿では,認識された手術段階に対応するAR情報を提供する,新しい位相特異的拡張現実(AR)誘導システムを提案する。
• 参考スコア（独自算出の注目度）: 14.568834378003707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Phacoemulsification cataract surgery (PCS) is a routine procedure conducted using a surgical microscope, heavily reliant on the skill of the ophthalmologist. While existing PCS guidance systems extract valuable information from surgical microscopic videos to enhance intraoperative proficiency, they suffer from non-phasespecific guidance, leading to redundant visual information. In this study, our major contribution is the development of a novel phase-specific augmented reality (AR) guidance system, which offers tailored AR information corresponding to the recognized surgical phase. Leveraging the inherent quasi-standardized nature of PCS procedures, we propose a two-stage surgical microscopic video recognition network. In the first stage, we implement a multi-task learning structure to segment the surgical limbus region and extract limbus region-focused spatial feature for each frame. In the second stage, we propose the long-short spatiotemporal aggregation transformer (LS-SAT) network to model local fine-grained and global temporal relationships, and combine the extracted spatial features to recognize the current surgical phase. Additionally, we collaborate closely with ophthalmologists to design AR visual cues by utilizing techniques such as limbus ellipse fitting and regional restricted normal cross-correlation rotation computation. We evaluated the network on publicly available and in-house datasets, with comparison results demonstrating its superior performance compared to related works. Ablation results further validated the effectiveness of the limbus region-focused spatial feature extractor and the combination of temporal features. Furthermore, the developed system was evaluated in a clinical setup, with results indicating remarkable accuracy and real-time performance. underscoring its potential for clinical applications.
• Abstract（参考訳）: 超音波白内障手術(pcs)は、眼科医の技量に大きく依存する手術用顕微鏡を用いて行う定期手術である。 既存のpcs指導システムは術中習熟度を高めるために手術用顕微鏡映像から貴重な情報を抽出するが、非相特異的な指導に苦しめられ、冗長な視覚情報に繋がる。 本研究は,手術段階に応じたar情報を提供する新しい位相特異的拡張現実(ar)誘導システムの開発に,本研究の主な貢献である。 そこで本研究では,PCSプロシージャの本来の準標準化特性を活用して,2段階の手術用顕微鏡画像認識ネットワークを提案する。 第1段階では,手術用手足領域を分割し,手足領域に着目した空間的特徴を抽出するマルチタスク学習構造を実装した。 第2段階では,局所的細粒度と大域的時間的関係をモデル化し,抽出した空間的特徴を結合して現在の外科的位相を認識する長短時空間凝集トランス(ls-sat)ネットワークを提案する。 さらに, 眼科医と密接に連携し, 辺縁楕円フィッティングや局所制限正規交叉回転計算などの手法を用いてar視覚手がかりの設計を行った。 公開および社内データセット上でのネットワーク評価を行い,その性能を関連作品と比較して比較した。 アブレーションの結果,辺縁領域に焦点をあてた空間特徴抽出器と時間特徴の組み合わせの有効性がさらに検証された。 さらに, 開発したシステムは臨床設定で評価され, 優れた精度とリアルタイム性能が得られた。 臨床応用の可能性を示すものです

関連論文リスト

• RGB to Hyperspectral: Spectral Reconstruction for Enhanced Surgical Imaging [7.2993064695496255]
  そこで本研究では,RGBデータから高スペクトル信号の再構成を行い,画像診断の精度向上を図る。 畳み込みニューラルネットワーク(CNN)とトランスフォーマーモデルに基づく各種アーキテクチャの評価を行った。 変換器モデルはRMSE、SAM、PSNR、SSIMの点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-17T14:05:41Z)
• EndoGSLAM: Real-Time Dense Reconstruction and Tracking in Endoscopic Surgeries using Gaussian Splatting [53.38166294158047]
  EndoGSLAMは鏡視下手術の効率的なアプローチであり、合理化表現と微分ガウス化を統合している。 実験の結果,EndoGSLAMは従来型あるいは神経型SLAMアプローチよりも術中可用性と再建品質のトレードオフが良好であることがわかった。
  論文  参考訳（メタデータ） (2024-03-22T11:27:43Z)
• CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
  縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。 ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。 我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
  論文  参考訳（メタデータ） (2024-03-21T15:13:36Z)
• Monocular Microscope to CT Registration using Pose Estimation of the Incus for Augmented Reality Cochlear Implant Surgery [3.8909273404657556]
  本研究では, 外部追跡装置を必要とせず, 2次元から3次元の観察顕微鏡映像を直接CTスキャンに登録する手法を開発した。 その結果, x, y, z軸の平均回転誤差は25度未満, 翻訳誤差は2mm, 3mm, 0.55%であった。
  論文  参考訳（メタデータ） (2024-03-12T00:26:08Z)
• Surgical Temporal Action-aware Network with Sequence Regularization for Phase Recognition [28.52533700429284]
  本稿では,STAR-Netと命名されたシークエンス正規化を施した手術時行動認識ネットワークを提案する。 MS-STAモジュールは、視覚的特徴と2Dネットワークを犠牲にして、手術行動の空間的および時間的知識を統合する。 我々のSTAR-Net with MS-STA and DSR can exploit of visual features of surgery action with effective regularization, which to the excellent performance of surgery phase recognition。
  論文  参考訳（メタデータ） (2023-11-21T13:43:16Z)
• GLSFormer : Gated - Long, Short Sequence Transformer for Step Recognition in Surgical Videos [57.93194315839009]
  本稿では,シーケンスレベルのパッチから時間的特徴を直接学習するための視覚変換器に基づくアプローチを提案する。 本研究では,白内障手術用ビデオデータセットである白内障-101とD99に対するアプローチを広範に評価し,各種の最先端手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2023-07-20T17:57:04Z)
• LoViT: Long Video Transformer for Surgical Phase Recognition [59.06812739441785]
  短時間・長期の時間情報を融合する2段階のLong Video Transformer(LoViT)を提案する。 このアプローチは、Colec80とAutoLaparoデータセットの最先端メソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-15T20:06:14Z)
• Real-time landmark detection for precise endoscopic submucosal dissection via shape-aware relation network [51.44506007844284]
  内視鏡下粘膜下郭清術における高精度かつリアルタイムなランドマーク検出のための形状認識型関係ネットワークを提案する。 まず,ランドマーク間の空間的関係に関する先行知識を直感的に表現する関係キーポイント・ヒートマップを自動生成するアルゴリズムを考案する。 次に、事前知識を学習プロセスに段階的に組み込むために、2つの補完的な正規化手法を開発する。
  論文  参考訳（メタデータ） (2021-11-08T07:57:30Z)
• Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer [57.18185972461453]
  本稿では,手術ワークフロー解析トランスフォーマーを初めて導入し,正確な位相認識のための時間的特徴と時間的特徴の無視された補完効果を再考する。 我々のフレームワークは軽量であり、高い推論速度を達成するためにハイブリッド埋め込みを並列に処理します。
  論文  参考訳（メタデータ） (2021-03-17T15:12:55Z)
• TeCNO: Surgical Phase Recognition with Multi-Stage Temporal Convolutional Networks [43.95869213955351]
  外科的位相認識のための階層的予測補正を行う多段階時間畳み込みネットワーク(MS-TCN)を提案する。 本手法は腹腔鏡下胆嚢摘出術ビデオの2つのデータセットに対して,追加の外科的ツール情報を用いずに徹底的に評価した。
  論文  参考訳（メタデータ） (2020-03-24T10:12:30Z)
• Towards Augmented Reality-based Suturing in Monocular Laparoscopic Training [0.5707453684578819]
  本研究では,シリコーンパッド上での腹腔鏡下トレーニング結果を高めるために,定量的かつ質的な視覚表現を備えた拡張現実環境を提案する。 これは、マルチクラスセグメンテーションと深度マップ予測を実行するマルチタスク教師付きディープニューラルネットワークによって実現されている。 本発明のネットワークは、手術針分割用ダイススコア0.67、針ホルダ計器セグメンテーション0.81、深さ推定用平均絶対誤差6.5mmを達成する。
  論文  参考訳（メタデータ） (2020-01-19T19:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。