論文の概要: Plug-in for visualizing 3D tool tracking from videos of Minimally
Invasive Surgeries
- arxiv url: http://arxiv.org/abs/2401.09472v1
- Date: Fri, 12 Jan 2024 11:04:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 09:15:21.476017
- Title: Plug-in for visualizing 3D tool tracking from videos of Minimally
Invasive Surgeries
- Title(参考訳): Minimally Invasive Surgeriesのビデオから3Dツールの追跡を可視化するプラグイン
- Authors: Shubhangi Nema, Abhishek Mathur and Leena Vachhani
- Abstract要約: ミニマル侵襲手術(MIS)における計測器追跡と3次元可視化の課題に取り組む。
従来のロボット支援MISは、2Dカメラプロジェクションの制限と最小限のハードウェア統合で問題に遭遇する。
提案手法は,セグメンテーションマップに基づく2次元追跡を伴い,広範囲の地底知識を伴わないラベル付きデータセットの作成を容易にする。
- 参考スコア(独自算出の注目度): 0.6629765271909505
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper tackles instrument tracking and 3D visualization challenges in
minimally invasive surgery (MIS), crucial for computer-assisted interventions.
Conventional and robot-assisted MIS encounter issues with limited 2D camera
projections and minimal hardware integration. The objective is to track and
visualize the entire surgical instrument, including shaft and metallic clasper,
enabling safe navigation within the surgical environment. The proposed method
involves 2D tracking based on segmentation maps, facilitating creation of
labeled dataset without extensive ground-truth knowledge. Geometric changes in
2D intervals express motion, and kinematics based algorithms process results
into 3D tracking information. Synthesized and experimental results in 2D and 3D
motion estimates demonstrate negligible errors, validating the method for
labeling and motion tracking of instruments in MIS videos. The conclusion
underscores the proposed 2D segmentation technique's simplicity and
computational efficiency, emphasizing its potential as direct plug-in for 3D
visualization in instrument tracking and MIS practices.
- Abstract(参考訳): 本稿では,最小侵襲手術(MIS)における機器追跡と3次元可視化の課題に取り組む。
2dカメラのプロジェクションと最小限のハードウェア統合による、従来およびロボット支援のミスマッチ問題。
目的は、シャフトや金属クラスパーを含む手術器具全体を追跡して可視化することであり、手術環境内の安全なナビゲーションを可能にすることである。
提案手法は,セグメンテーションマップに基づく2次元追跡を伴い,広範囲の地底知識を伴わないラベル付きデータセットの作成を容易にする。
2次元間隔の幾何学的変化は動きを表現し、キネマティックスに基づくアルゴリズムは3dトラッキング情報を生成する。
2次元および3次元の運動推定における合成および実験結果は無視可能な誤りを示し、MISビデオにおける楽器のラベル付けとモーショントラッキングの方法を検証する。
この結論は、2次元セグメンテーション手法の単純さと計算効率を強調し、3次元可視化のための直接プラグインとしての可能性を強調している。
関連論文リスト
- 3D Face Tracking from 2D Video through Iterative Dense UV to Image Flow [15.479024531161476]
本稿では,頂点ごとの高密度アライメントのための2次元アライメントネットワークを革新的に導入する新しいフェイストラッカーであるFlowFaceを提案する。
以前の作業とは異なり、FlowFaceは、弱い監視や合成データではなく、高品質な3Dスキャンアノテーションでトレーニングされている。
本手法は,カスタムベンチマークと公開ベンチマークの両方において,優れた性能を示す。
論文 参考訳(メタデータ) (2024-04-15T14:20:07Z) - SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。
この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。
3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
論文 参考訳(メタデータ) (2024-04-05T17:59:25Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳(メタデータ) (2024-04-01T04:57:41Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳(メタデータ) (2024-03-19T13:39:05Z) - 3D Vascular Segmentation Supervised by 2D Annotation of Maximum
Intensity Projection [33.34240545722551]
血管構造のセグメンテーションは、医学的分析と臨床応用において重要な役割を担っている。
既存の弱監督法は, スパース血管構造を扱う際に, 最適下肢機能を示した。
ここでは,3次元体積の次元を2次元画像に変換するために,最大強度投影(MIP)を用いる。
MIPを介して2D-3Dの深い特徴を融合してセグメンテーション性能を向上させる弱教師付きネットワークを導入する。
論文 参考訳(メタデータ) (2024-02-19T13:24:46Z) - MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。
このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。
我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
論文 参考訳(メタデータ) (2023-12-12T18:21:36Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳(メタデータ) (2023-08-21T10:38:32Z) - 3D Visual Tracking Framework with Deep Learning for Asteroid Exploration [22.808962211830675]
本稿では,3次元追跡のための高精度かつリアルタイムな手法について検討する。
両眼ビデオシーケンス、深度マップ、様々な小惑星の点雲を含む、新しい大規模な3D小惑星追跡データセットが提示されている。
深層学習に基づく3DトラッキングフレームワークTrack3Dを提案する。このフレームワークは,2次元単分子トラッカーと,新しい軽量アモーダル軸整合バウンディングボックスネットワークであるA3BoxNetを備える。
論文 参考訳(メタデータ) (2021-11-21T04:14:45Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-12T15:30:02Z) - 3D Self-Supervised Methods for Medical Imaging [7.65168530693281]
本稿では,プロキシタスクの形式で,5種類の自己教師型手法の3次元バージョンを提案する。
提案手法は,未ラベルの3次元画像からニューラルネットワークの特徴学習を容易にし,専門家のアノテーションに必要なコストを削減することを目的としている。
開発したアルゴリズムは、3D Contrastive Predictive Coding, 3D Rotation Prediction, 3D Jigsaw puzzles, Relative 3D patch location, 3D Exemplar Networkである。
論文 参考訳(メタデータ) (2020-06-06T09:56:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。