論文の概要: Multimodal Image-based Robotic Assistance and Guidance Environment (MIRAGE): A Novel Unified Framework for Surgical Navigation and Visualization
- arxiv url: http://arxiv.org/abs/2610.12780v1
- Date: Thu, 08 Oct 2026 22:37:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.305939
- Title: Multimodal Image-based Robotic Assistance and Guidance Environment (MIRAGE): A Novel Unified Framework for Surgical Navigation and Visualization
- Title（参考訳）: マルチモーダル画像に基づくロボット支援・誘導環境(MIRAGE):手術ナビゲーション・可視化のための新しい統一フレームワーク
- Abstract要約: MIRAGEはリアルタイム可視化とナビゲーションのためのマルチモーダル画像誘導ロボット手術フレームワークである。
ステレオビジョンシーンの再構築、ARビデオオーバーレイ、定量化ヘッドアップディスプレイ(HUD)ナビゲーション、および術中超音波を統合している。
ビデオI/OとレンダリングはC++バックエンドで動作し、Python GUIはキャリブレーション、登録、再構築、視覚化、ユーザインタラクションを調整する。
- 参考スコア（独自算出の注目度）: 7.673020382082364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents the computational architecture and quantitative preclinical evaluation of MIRAGE, a multimodal image-guided robotic surgery framework for real-time visualization and navigation. It integrates stereovision scene reconstruction, augmented-reality (AR) video overlay, quantified heads-up display (HUD) navigation, and intraoperative ultrasound within the da Vinci console's TilePro display (Intuitive Surgical). Additional modules include optical/electromagnetic tracker registration, stereo calibration, fiducial rigid registration with RMSE feedback, and 3D point-cloud reconstruction. Video I/O and rendering run in a C++ backend, while a Python GUI coordinates calibration, registration, reconstruction, visualization, and user interaction through an in-process zero-copy binding layer. The framework formalizes spatial transforms, module states, and synchronization of heterogeneous video and tracking streams. Preoperative calibration uses synchronized checkerboard image pairs and optimization, with estimated intrinsics, extrinsics, and rectification reused intraoperatively. MIRAGE was validated in phantom experiments across da Vinci S, Si, Xi, and SP platforms. Across clinically relevant working distances, mean 3D reprojection error was 0.6mm, with best 0.1mm RMSE at 100mm on Xi. Results support MIRAGE as a preclinical technical-validation platform for accurate, responsive, and extensible multimodal surgical guidance.
- Abstract（参考訳）: 本稿では,リアルタイム可視化とナビゲーションのためのマルチモーダル画像誘導ロボット手術フレームワークであるMIRAGEの計算アーキテクチャと定量的前臨床評価について述べる。
ステレオビジョンシーンの再構築、ARビデオオーバーレイ、定量化ヘッドアップディスプレイ(HUD)ナビゲーション、およびダヴィンチコンソールのTileProディスプレイ(直感的手術)内での術中超音波を統合している。
追加モジュールには、光学/電磁トラッカーの登録、ステレオキャリブレーション、RMSEフィードバックによるフィデューシャル剛性登録、3Dポイントクラウド再構成が含まれる。
ビデオI/OとレンダリングはC++バックエンドで動作し、Python GUIは、プロセス内のゼロコピーバインディング層を通じてキャリブレーション、登録、再構築、視覚化、ユーザインタラクションを調整する。
このフレームワークは、異種ビデオと追跡ストリームの空間変換、モジュール状態、同期を形式化する。
術前校正は同期チェッカーボード画像ペアと最適化を用い, 内因性, 外因性, 整復を術中再利用した。
MIRAGEはda Vinci S、Si、Xi、SPプラットフォームにわたる幻実験で検証された。
臨床的に関係のある作業距離全体では、3D再投射誤差は0.6mmであり、Xiでは100mmで0.1mm RMSEが最高であった。
その結果、MIRAGEは、正確で応答性があり、拡張可能なマルチモーダル外科的ガイダンスのための前臨床技術検証プラットフォームとしてサポートされた。
関連論文リスト
- A Unified Platform and Quality Assurance Framework for 3D Ultrasound Reconstruction with Robotic, Optical, and Electromagnetic Tracking [0.0]
本研究では,3次元US再構築のためのQAフレームワークと,追跡されたUS研究のための柔軟なオープンソースプラットフォームを提案する。
様々な対称性特性を持つ幾何学的包含を含むカスタムファントムは、光学的、電磁的、ロボット的な運動追跡を簡単に評価することができる。
この枠組みを適用することで、我々のロボット3D USは最先端の再構築性能を達成できることを示した。
論文 参考訳（メタデータ） (2026-03-20T15:56:50Z) - Stereo-Inertial Poser: Towards Metric-Accurate Shape-Aware Motion Capture Using Sparse IMUs and a Single Stereo Camera [54.967647497048205]
本稿では,距離精度と形状を考慮した3次元動作を推定するリアルタイムモーションキャプチャシステムであるStereo-Inertial Poserを提案する。
モノクラーRGBをステレオビジョンに置き換え、直接3次元キーポイント抽出と形状パラメータ推定を可能にした。
ドリフトフリーなグローバル翻訳を長い記録時間で生成し,フットスケート効果を低減させる。
論文 参考訳（メタデータ） (2026-03-02T17:46:38Z) - Physically Aware 360$^\circ$ View Generation from a Single Image using Disentangled Scene Embeddings [0.0]
そこで,Distangled360を提案する。Distangled360はDistangled volumeレンダリングの利点と単一画像の360ビュー合成を融合した3D認識技術である。
Disentangled360は、混合現実の医療監督、ロボット知覚、没入型コンテンツ作成を促進する。
論文 参考訳（メタデータ） (2025-12-11T05:20:24Z) - Visual Odometry with Transformers [68.453547770334]
特徴抽出により単眼フレームのシーケンスを処理するビジュアル・オドメトリ・トランスフォーマ(VoT)を導入する。
従来の方法とは異なり、VoTは密度の高い幾何学を推定することなくカメラの動きを直接予測し、監視のためにカメラのポーズのみに依存する。
VoTは、より大きなデータセットで効果的にスケールし、より強力なトレーニング済みバックボーンの恩恵を受け、多様なカメラモーションとキャリブレーション設定を一般化し、従来のメソッドよりも3倍以上高速に動作しながらパフォーマンスを向上する。
論文 参考訳（メタデータ） (2025-10-02T17:00:14Z) - Accelerating 3D Photoacoustic Computed Tomography with End-to-End Physics-Aware Neural Operators [74.65171736966131]
光音響計算トモグラフィ(PACT)は、光コントラストと超音波分解能を組み合わせることで、光拡散限界を超える深部像を実現する。
現在の実装では、高密度トランスデューサアレイと長い取得時間を必要とし、臨床翻訳を制限している。
本研究では,センサ計測からボリューム再構成まで,逆音響マッピングを直接学習する物理認識モデルであるPanoを紹介する。
論文 参考訳（メタデータ） (2025-09-11T23:12:55Z) - Render-FM: A Foundation Model for Real-time Photorealistic Volumetric Rendering [28.764513004699676]
我々は,CTスキャンの直接リアルタイムレンダリングのための新しい基礎モデルRender-FMを提案する。
本手法は様々な臨床CTデータにまたがって高品質でリアルタイムなインタラクティブな3D可視化を実現する。
実験により、Render-FMは特殊スキャン法に匹敵する視覚的忠実度を達成できることが示された。
論文 参考訳（メタデータ） (2025-05-22T23:18:30Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - X-Ray to CT Rigid Registration Using Scene Coordinate Regression [1.1687067206676627]
本稿では,極端視点に頑健な完全自動登録手法を提案する。
これは、与えられたX線画像の重なり合う座標を回帰する完全な畳み込みニューラルネットワーク(CNN)に基づいている。
提案手法は, 模擬試験データセットの50パーセンタイルにおける平均平均目標登録誤差(mTRE)を3.79mmとし, ペルビス登録のための実フルオロスコープ画像の50パーセンタイルにおける平均目標登録誤差(mTRE)を9.65mmと予測した。
論文 参考訳（メタデータ） (2023-11-25T17:48:46Z) - Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [64.59698930334012]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。
第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。
第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文 参考訳（メタデータ） (2023-05-05T13:42:19Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-09-19T09:43:19Z) - MITI: SLAM Benchmark for Laparoscopic Surgery [5.602880243609329]
立体視画像慣性コンピュータビジョンアルゴリズム(SLAM/SfM/3D再構成/ビジュアル慣性オドメトリー)の評価のための新しいベンチマークを提案する。
我々のMITIデータセットは、TUMのResearch Hospital Rechts der Isarでハンドヘルド外科手術の完全な記録によって、必要なすべてのデータを提供します。
論文 参考訳（メタデータ） (2022-02-23T13:23:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。