論文の概要: 3D Semantic Mapping from Arthroscopy using Out-of-distribution Pose and
Depth and In-distribution Segmentation Training
- arxiv url: http://arxiv.org/abs/2106.05525v1
- Date: Thu, 10 Jun 2021 06:28:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-11 14:11:22.576080
- Title: 3D Semantic Mapping from Arthroscopy using Out-of-distribution Pose and
Depth and In-distribution Segmentation Training
- Title(参考訳): Out-of-distribution Pose and Depth and In-distribution Segmentation Trainingを用いた関節鏡からの3次元意味マッピング
- Authors: Yaqub Jonmohamadi, Shahnewaz Ali, Fengbei Liu, Jonathan Roberts, Ross
Crawford, Gustavo Carneiro, Ajay K. Pandey
- Abstract要約: 膝関節鏡による最初の3次元意味マッピングシステムを提案する。
我々は, 大腿骨, ACL, 半月板に画素をラベル付けする完全教師付きセマンティックセマンティックセグメンテーションシステムを訓練した。
これら2つのシステムの結果を組み合わせて、人間の膝の3Dセマンティックマップを自動的に作成する。
- 参考スコア(独自算出の注目度): 14.387220553169643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Minimally invasive surgery (MIS) has many documented advantages, but the
surgeon's limited visual contact with the scene can be problematic. Hence,
systems that can help surgeons navigate, such as a method that can produce a 3D
semantic map, can compensate for the limitation above. In theory, we can borrow
3D semantic mapping techniques developed for robotics, but this requires
finding solutions to the following challenges in MIS: 1) semantic segmentation,
2) depth estimation, and 3) pose estimation. In this paper, we propose the
first 3D semantic mapping system from knee arthroscopy that solves the three
challenges above. Using out-of-distribution non-human datasets, where pose
could be labeled, we jointly train depth+pose estimators using selfsupervised
and supervised losses. Using an in-distribution human knee dataset, we train a
fully-supervised semantic segmentation system to label arthroscopic image
pixels into femur, ACL, and meniscus. Taking testing images from human knees,
we combine the results from these two systems to automatically create 3D
semantic maps of the human knee. The result of this work opens the pathway to
the generation of intraoperative 3D semantic mapping, registration with
pre-operative data, and robotic-assisted arthroscopy
- Abstract(参考訳): 最小侵襲手術 (MIS) には多くの利点があるが, 現場との視覚的接触は限られている。
したがって、外科医が3Dセマンティックマップを作成できるようなナビゲートを助けるシステムは、上記の制限を補うことができる。
理論的には、ロボット工学のために開発された3Dセマンティックマッピング技術を借りることができるが、これは、1)セマンティックセグメンテーション、2)深さ推定、3)ポーズ推定といったMISの課題に対する解決策を見つける必要がある。
本稿では,上述の3つの課題を解決する膝関節鏡からの3次元意味マッピングシステムを提案する。
ポーズのラベル付けが可能な非分布型データセットを使用して,自己教師付きおよび教師付き損失を用いた深さ+位置推定器を共同で訓練する。
関節鏡視下画像画素を大腿骨, ACL, 半月板にラベル付けるために, 完全教師付きセマンティックセマンティックセマンティクスシステムを構築した。
人間の膝から画像をテストすることで、これらの2つのシステムの結果を組み合わせて、人間の膝の3Dセマンティックマップを自動的に作成する。
本研究の成果は,術中3次元意味マッピングの生成,術前データによる登録,ロボット支援関節鏡への道を開く。
関連論文リスト
- Large Generative Model Assisted 3D Semantic Communication [51.17527319441436]
本稿では,GAM-3DSC(Generative AI Model Assisted 3D SC)システムを提案する。
まず,ユーザ要求に基づいて3次元シナリオからキーセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティクスを抽出する。
次に、これらの多視点画像を符号化するための適応意味圧縮モデル(ASCM)を提案する。
最後に、物理チャネルのチャネル状態情報(CSI)を推定・精査するために、条件付き生成逆数ネットワークと拡散モデル支援チャネル推定(GDCE)を設計する。
論文 参考訳(メタデータ) (2024-03-09T03:33:07Z) - MinD-3D: Reconstruct High-quality 3D objects in Human Brain [53.546633606914455]
Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3D視覚を再構築することに焦点を当てた画期的なタスクである。
総合的なfMRI信号キャプチャのための3Dオブジェクトの360度映像を利用したfMRI-Shapeデータセットを提案する。
また,fMRI信号から脳の3次元視覚情報をデコードし,再構成する新しい3段階フレームワークMinD-3Dを提案する。
論文 参考訳(メタデータ) (2023-12-12T18:21:36Z) - Intraoperative 2D/3D Image Registration via Differentiable X-ray
Rendering [6.136878084725444]
DiffPoseは、患者固有のシミュレーションと微分可能な物理ベースのレンダリングを利用して、手動でラベル付けされたデータに頼ることなく正確な2D/3D登録を実現する自己教師型アプローチである。
DiffPoseは手術用データセット全体の術速でサブミリ精度を達成し、既存の教師なしの手法を桁違いに改善し、教師付きベースラインよりも優れています。
論文 参考訳(メタデータ) (2023-12-11T13:05:54Z) - Promise:Prompt-driven 3D Medical Image Segmentation Using Pretrained
Image Foundation Models [13.08275555017179]
単点プロンプトのみを用いたプロンプト駆動型3次元医用画像分割モデルProMISeを提案する。
今回,大腸癌と膵腫瘍の2つの領域に分布する2つのパブリックデータセットについて検討した。
論文 参考訳(メタデータ) (2023-10-30T16:49:03Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳(メタデータ) (2023-06-28T22:36:44Z) - ScanERU: Interactive 3D Visual Grounding based on Embodied Reference
Understanding [67.21613160846299]
Embodied Reference Understanding (ERU) はこの懸念に対して最初に設計されている。
ScanERUと呼ばれる新しいデータセットは、このアイデアの有効性を評価するために構築されている。
論文 参考訳(メタデータ) (2023-03-23T11:36:14Z) - Semantic-SuPer: A Semantic-aware Surgical Perception Framework for
Endoscopic Tissue Classification, Reconstruction, and Tracking [21.133420628173067]
外科的知覚の枠組みであるSemantic-SuPerを提案する。
データアソシエーション、3D再構成、内視鏡的シーンの追跡を容易にするため、幾何学的および意味的な情報を統合する。
論文 参考訳(メタデータ) (2022-10-29T19:33:21Z) - Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from
Depth Maps [66.24554680709417]
協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。
本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
論文 参考訳(メタデータ) (2022-07-06T08:52:12Z) - Graph-Based 3D Multi-Person Pose Estimation Using Multi-View Images [79.70127290464514]
我々は,タスクを2つの段階,すなわち人物のローカライゼーションとポーズ推定に分解する。
また,効率的なメッセージパッシングのための3つのタスク固有グラフニューラルネットワークを提案する。
提案手法は,CMU Panoptic と Shelf のデータセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2021-09-13T11:44:07Z) - Planar 3D Transfer Learning for End to End Unimodal MRI Unbalanced Data
Segmentation [0.0]
本稿では,事前学習した2次元畳み込みニューラルネットワーク重みを平面3次元カーネルにマッピングする手法を提案する。
提案手法は2次元VGG-16から転送されるエンコーダを備えた平面3Dres-u-netネットワークにより検証される。
論文 参考訳(メタデータ) (2020-11-23T17:11:50Z) - 3D Self-Supervised Methods for Medical Imaging [7.65168530693281]
本稿では,プロキシタスクの形式で,5種類の自己教師型手法の3次元バージョンを提案する。
提案手法は,未ラベルの3次元画像からニューラルネットワークの特徴学習を容易にし,専門家のアノテーションに必要なコストを削減することを目的としている。
開発したアルゴリズムは、3D Contrastive Predictive Coding, 3D Rotation Prediction, 3D Jigsaw puzzles, Relative 3D patch location, 3D Exemplar Networkである。
論文 参考訳(メタデータ) (2020-06-06T09:56:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。