論文の概要: 3D Semantic Mapping from Arthroscopy using Out-of-distribution Pose and Depth and In-distribution Segmentation Training

• arxiv url: http://arxiv.org/abs/2106.05525v1
• Date: Thu, 10 Jun 2021 06:28:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:11:22.576080
• Title: 3D Semantic Mapping from Arthroscopy using Out-of-distribution Pose and Depth and In-distribution Segmentation Training
• Title（参考訳）: Out-of-distribution Pose and Depth and In-distribution Segmentation Trainingを用いた関節鏡からの3次元意味マッピング
• Authors: Yaqub Jonmohamadi, Shahnewaz Ali, Fengbei Liu, Jonathan Roberts, Ross Crawford, Gustavo Carneiro, Ajay K. Pandey
• Abstract要約: 膝関節鏡による最初の3次元意味マッピングシステムを提案する。 我々は, 大腿骨, ACL, 半月板に画素をラベル付けする完全教師付きセマンティックセマンティックセグメンテーションシステムを訓練した。 これら2つのシステムの結果を組み合わせて、人間の膝の3Dセマンティックマップを自動的に作成する。
• 参考スコア（独自算出の注目度）: 14.387220553169643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Minimally invasive surgery (MIS) has many documented advantages, but the surgeon's limited visual contact with the scene can be problematic. Hence, systems that can help surgeons navigate, such as a method that can produce a 3D semantic map, can compensate for the limitation above. In theory, we can borrow 3D semantic mapping techniques developed for robotics, but this requires finding solutions to the following challenges in MIS: 1) semantic segmentation, 2) depth estimation, and 3) pose estimation. In this paper, we propose the first 3D semantic mapping system from knee arthroscopy that solves the three challenges above. Using out-of-distribution non-human datasets, where pose could be labeled, we jointly train depth+pose estimators using selfsupervised and supervised losses. Using an in-distribution human knee dataset, we train a fully-supervised semantic segmentation system to label arthroscopic image pixels into femur, ACL, and meniscus. Taking testing images from human knees, we combine the results from these two systems to automatically create 3D semantic maps of the human knee. The result of this work opens the pathway to the generation of intraoperative 3D semantic mapping, registration with pre-operative data, and robotic-assisted arthroscopy
• Abstract（参考訳）: 最小侵襲手術 (MIS) には多くの利点があるが, 現場との視覚的接触は限られている。 したがって、外科医が3Dセマンティックマップを作成できるようなナビゲートを助けるシステムは、上記の制限を補うことができる。 理論的には、ロボット工学のために開発された3Dセマンティックマッピング技術を借りることができるが、これは、1)セマンティックセグメンテーション、2)深さ推定、3)ポーズ推定といったMISの課題に対する解決策を見つける必要がある。 本稿では,上述の3つの課題を解決する膝関節鏡からの3次元意味マッピングシステムを提案する。 ポーズのラベル付けが可能な非分布型データセットを使用して,自己教師付きおよび教師付き損失を用いた深さ+位置推定器を共同で訓練する。 関節鏡視下画像画素を大腿骨, ACL, 半月板にラベル付けるために, 完全教師付きセマンティックセマンティックセマンティクスシステムを構築した。 人間の膝から画像をテストすることで、これらの2つのシステムの結果を組み合わせて、人間の膝の3Dセマンティックマップを自動的に作成する。 本研究の成果は,術中3次元意味マッピングの生成,術前データによる登録,ロボット支援関節鏡への道を開く。

関連論文リスト

• fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction [50.534007259536715]
  我々は15人の参加者のデータを含むfMRI-3Dデータセットを提示し、合計4768個の3Dオブジェクトを展示する。 我々は,fMRI信号から3次元視覚情報を復号化するための新しいフレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2024-09-17T16:13:59Z)
• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• Generative Enhancement for 3D Medical Images [74.17066529847546]
  本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。 本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。 3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-03-19T15:57:04Z)
• Intraoperative 2D/3D Image Registration via Differentiable X-ray Rendering [5.617649111108429]
  DiffPoseは、患者固有のシミュレーションと微分可能な物理ベースのレンダリングを利用して、手動でラベル付けされたデータに頼ることなく正確な2D/3D登録を実現する自己教師型アプローチである。 DiffPoseは手術用データセット全体の術速でサブミリ精度を達成し、既存の教師なしの手法を桁違いに改善し、教師付きベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-12-11T13:05:54Z)
• Promise:Prompt-driven 3D Medical Image Segmentation Using Pretrained Image Foundation Models [13.08275555017179]
  単点プロンプトのみを用いたプロンプト駆動型3次元医用画像分割モデルProMISeを提案する。 今回,大腸癌と膵腫瘍の2つの領域に分布する2つのパブリックデータセットについて検討した。
  論文  参考訳（メタデータ） (2023-10-30T16:49:03Z)
• ScanERU: Interactive 3D Visual Grounding based on Embodied Reference Understanding [67.21613160846299]
  Embodied Reference Understanding (ERU) はこの懸念に対して最初に設計されている。 ScanERUと呼ばれる新しいデータセットは、このアイデアの有効性を評価するために構築されている。
  論文  参考訳（メタデータ） (2023-03-23T11:36:14Z)
• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• Semantic-SuPer: A Semantic-aware Surgical Perception Framework for Endoscopic Tissue Classification, Reconstruction, and Tracking [21.133420628173067]
  外科的知覚の枠組みであるSemantic-SuPerを提案する。 データアソシエーション、3D再構成、内視鏡的シーンの追跡を容易にするため、幾何学的および意味的な情報を統合する。
  論文  参考訳（メタデータ） (2022-10-29T19:33:21Z)
• Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from Depth Maps [66.24554680709417]
  協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。 本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
  論文  参考訳（メタデータ） (2022-07-06T08:52:12Z)
• Planar 3D Transfer Learning for End to End Unimodal MRI Unbalanced Data Segmentation [0.0]
  本稿では,事前学習した2次元畳み込みニューラルネットワーク重みを平面3次元カーネルにマッピングする手法を提案する。 提案手法は2次元VGG-16から転送されるエンコーダを備えた平面3Dres-u-netネットワークにより検証される。
  論文  参考訳（メタデータ） (2020-11-23T17:11:50Z)
• 3D Self-Supervised Methods for Medical Imaging [7.65168530693281]
  本稿では,プロキシタスクの形式で,5種類の自己教師型手法の3次元バージョンを提案する。 提案手法は,未ラベルの3次元画像からニューラルネットワークの特徴学習を容易にし,専門家のアノテーションに必要なコストを削減することを目的としている。 開発したアルゴリズムは、3D Contrastive Predictive Coding, 3D Rotation Prediction, 3D Jigsaw puzzles, Relative 3D patch location, 3D Exemplar Networkである。
  論文  参考訳（メタデータ） (2020-06-06T09:56:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。