Fugu-MT 論文翻訳(概要): POV-Surgery: A Dataset for Egocentric Hand and Tool Pose Estimation During Surgical Activities

論文の概要: POV-Surgery: A Dataset for Egocentric Hand and Tool Pose Estimation During Surgical Activities

arxiv url: http://arxiv.org/abs/2307.10387v1
Date: Wed, 19 Jul 2023 18:00:32 GMT
ステータス: 処理完了
システム内更新日: 2023-07-21 16:01:32.760775
Title: POV-Surgery: A Dataset for Egocentric Hand and Tool Pose Estimation During Surgical Activities
Title（参考訳）: POV-Surgery: Egocentric Hand and Tool Pose Estimationの外科的活動におけるデータセット
Authors: Rui Wang, Sophokles Ktistakis, Siwei Zhang, Mirko Meboldt, and Quentin Lohmeyer
Abstract要約: POV-Surgeryは、異なる手術用手袋と3つの整形外科器具を持つ手のポーズ推定に焦点を当てた、大規模で合成されたエゴセントリックなデータセットである。我々のデータセットは53のシーケンスと88,329のフレームで構成され、高解像度のRGB-Dビデオストリームとアクティビティアノテーションを備えている。我々はPOV-Surgeryにおける現在のSOTA法を微調整し、手術用手袋と工具を用いた実生活症例に適用する際の一般化性を示す。
参考スコア（独自算出の注目度）: 4.989930168854209
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The surgical usage of Mixed Reality (MR) has received growing attention in areas such as surgical navigation systems, skill assessment, and robot-assisted surgeries. For such applications, pose estimation for hand and surgical instruments from an egocentric perspective is a fundamental task and has been studied extensively in the computer vision field in recent years. However, the development of this field has been impeded by a lack of datasets, especially in the surgical field, where bloody gloves and reflective metallic tools make it hard to obtain 3D pose annotations for hands and objects using conventional methods. To address this issue, we propose POV-Surgery, a large-scale, synthetic, egocentric dataset focusing on pose estimation for hands with different surgical gloves and three orthopedic surgical instruments, namely scalpel, friem, and diskplacer. Our dataset consists of 53 sequences and 88,329 frames, featuring high-resolution RGB-D video streams with activity annotations, accurate 3D and 2D annotations for hand-object pose, and 2D hand-object segmentation masks. We fine-tune the current SOTA methods on POV-Surgery and further show the generalizability when applying to real-life cases with surgical gloves and tools by extensive evaluations. The code and the dataset are publicly available at batfacewayne.github.io/POV_Surgery_io/.
Abstract（参考訳）: 複合現実感(mr)の手術的使用は,手術ナビゲーションシステム,スキルアセスメント,ロボット支援手術などの領域で注目を集めている。このような用途では,手・外科器具のポーズ推定が基本課題であり,近年,コンピュータビジョン分野において広く研究されている。しかし、この分野の発展は、特に血まみれの手袋や反射金属工具が従来の方法で手や物体の3Dポーズアノテーションを得るのを困難にしている外科領域において、データセットの欠如によって妨げられている。そこで本研究では, 異なる外科用グローブと3つの整形外科用器具(scalpel, friem, diskplacer)を用いたポーズ推定に焦点をあてた, 大規模・合成・エゴセントリックデータセット pov-surgery を提案する。我々のデータセットは53のシーケンスと88,329のフレームで構成され、アクティビティアノテーションを備えた高解像度RGB-Dビデオストリーム、手動ポーズのための正確な3Dおよび2Dアノテーション、2Dハンドオブジェクトセグメンテーションマスクを備えている。我々はPOV-SurgeryのSOTA法を微調整し,手術用手袋と工具を用いた実生活症例に適用する際の一般化可能性について広範な評価を行った。コードとデータセットは batfacewayne.github.io/POV_Surgery_io/ で公開されている。

関連論文リスト

Realistic Data Generation for 6D Pose Estimation of Surgical Instruments [4.226502078427161]
手術器具の6次元ポーズ推定は,手術操作の自動実行を可能にするために重要である。家庭や工業環境では、3Dコンピュータグラフィックスソフトウェアで生成された合成データが、アノテーションコストを最小限に抑える代替手段として示されている。本稿では,大規模・多様なデータセットの自動生成を可能にする外科ロボティクスのシミュレーション環境の改善を提案する。
論文参考訳（メタデータ） (2024-06-11T14:59:29Z)
EgoSurgery-Tool: A Dataset of Surgical Tool and Hand Detection from Egocentric Open Surgery Videos [8.134387035379879]
EgoSurgery-Phaseデータセットの拡張であるEgoSurgery-Toolについて紹介する。 EgoSurgery-Toolは15のカテゴリにまたがる49K以上の手術用ツールで構成され、大規模な手術用ツール検出データセットを構成する。 9つの一般的な物体検出器を用いてEgoSurgery-Toolの包括的解析を行い,手術器具と手指検出の両面での有効性を検証した。
論文参考訳（メタデータ） (2024-06-05T09:36:15Z)
Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。 5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文参考訳（メタデータ） (2024-03-25T13:09:40Z)
CholecTrack20: A Dataset for Multi-Class Multiple Tool Tracking in Laparoscopic Surgery [1.8076340162131013]
CholecTrack20は,3つの視点にわたるマルチクラスマルチツールトラッキングのための,綿密な注釈付きデータセットである。データセットは、20の腹腔鏡ビデオと35,000のフレーム、65,000のアノテーション付きツールインスタンスで構成されている。
論文参考訳（メタデータ） (2023-12-12T15:18:15Z)
Surgical tool classification and localization: results and methods from the MICCAI 2022 SurgToolLoc challenge [69.91670788430162]
SurgLoc 2022 チャレンジの結果を示す。目標は、ツール検出のためにトレーニングされた機械学習モデルにおいて、ツールの存在データを弱いラベルとして活用することだった。これらの結果を機械学習と手術データ科学の幅広い文脈で論じることで結論付ける。
論文参考訳（メタデータ） (2023-05-11T21:44:39Z)
Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [66.74633676595889]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文参考訳（メタデータ） (2023-05-05T13:42:19Z)
CholecTriplet2021: A benchmark challenge for surgical action triplet recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。 4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文参考訳（メタデータ） (2022-04-10T18:51:55Z)
Using Human Gaze For Surgical Activity Recognition [0.40611352512781856]
手術映像における活動認識のための空間的時間的注意機構を備えた人間の視線の利用を提案する。我々のモデルは、I3Dベースのアーキテクチャで構成され、3D畳み込みを用いて時間的特徴を学習し、人間の視線を用いて注意マップを学習する。
論文参考訳（メタデータ） (2022-03-09T14:28:00Z)
hSDB-instrument: Instrument Localization Database for Laparoscopic and Robotic Surgeries [3.3340414770046856]
hSDB-Instrument データセットは腹腔鏡下胆嚢摘出術24例と胃切除術24例の計器的局所化情報からなる。全ての楽器のキネマティックな特性を反映するために、腹腔鏡機器の頭部と体部、ロボット機器の頭、手首、体部を別々にアノテートする。
論文参考訳（メタデータ） (2021-10-24T23:35:37Z)
Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
論文参考訳（メタデータ） (2021-08-16T12:26:34Z)
Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。